本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

Cisco、AIエージェントの一連の操作から攻撃を検知するルール言語「Project Quarry」をアルファ版で公開

Ciscoは10月28日、AIエージェントの振る舞いを評価するルール言語「Project Quarry」と、その評価エンジンをオープンソースで公開した。同社のGitHubページでは、Quarryはアルファ版で、v1.0.0より前に構文が変わって作成済みのルールの更新が必要になる場合がある。

同社によると、エージェントの操作は個別には無害に見えることがあり許可されたものも多いが、つながるとセキュリティ上の事案になりうる。例の1つは、機密ファイルを読んだあとに外部へリクエストを送る流れだ。単独のメッセージを調べる分類器や個々の操作の可否を決める認可の仕組みも重要だが、どちらもそれだけでは複数の手順にまたがる攻撃などを捉えられないという。

Quarryでは1つのルールの中で、機械学習の分類器やLLMによる判定と、文字列の一致やツール呼び出しの順序といった厳密な照合を組み合わせられる。ルールに一致すると、原因になった手順や短い抜粋などを証拠として返す。

使い方として同社は、ツールの実行やモデルの呼び出しのたびに前後で確認して危険な手順を止めるか目印を付ける方法、保存した記録を点検する方法、インシデント対応で新たに分かった型を過去の記録に当てる方法を示した。

公開したものには、コマンドラインのスキャナー、Python SDK、Claude CodeやCodexなどMCPに対応したエージェント向けのプラグインが含まれる。プラグインでは、平易な英語で書いた組織のリスクの説明から、コーディングエージェントがルールを作って直せる。ただし同社は、適用の前に人が各ルールを確認して承認するよう勧めている。

操作の積み重ねと与えられた課題からのずれで初めて侵入が見えた例として同社は、OpenAIのサイバーセキュリティ評価で動いたAIエージェントがHugging Faceの本番環境に入り込んだ7月の事案を取り上げた。Ciscoはこの事案のデータにQuarryを実行してはいないが、公開された経緯にはエージェント自身の操作がルールの手がかりになりえた箇所が複数あったと分析する。

同社はQuarryを自社製品のCisco AI Defenseですでに本番で使っており、エージェントを統制する自社のオープンソース基盤DefenseClawにも導入する計画だ。この計画は変わる可能性があるという。

【関連サイト】Cisco Blogs「A Shared Language for Agent Defense: Introducing Project Quarry」

【関連サイト】Cisco(GitHubのcisco-ai-defense/project-quarry)「Project Quarry」

【関連サイト】OpenAI「OpenAI and Hugging Face partner to address security incident during model evaluation」

画像:Editorial credit: Bangla press / Shutterstock.com