致命的な三点セット

LLM は内容の中にある指示に従う。しかも指示の重みを、それがどこから来たかで確実に区別することができない。だから Web ページでもメールでも issue でも、エージェントの前に文章を置ける人は、エージェントが触れる非公開データを集めて、手持ちの送信手段で外に出すよう指示できる。三つの能力はそれぞれ単独なら役に立つ。危険になるのは一つのセッションが三つともそろえたときで、利用者が出どころの違うツールを組み合わせた結果そうなることが多い。Simon Willison はこうした事例を何十件も集めている。ベンダーはたいてい持ち出しの経路をふさいで直したが、「これを 100% 確実に防ぐ方法は、まだわかっていない」。攻撃の 95% を捕まえると謳うフィルタでは穴はふさがらない。「Web アプリケーションのセキュリティでは、95% は明らかに落第点だ」。

2025年5月、Invariant Labs の Marco Milanta と Luca Beurer-Kellner は、GitHub 公式 MCP サーバを通した攻撃を報告した。攻撃者は利用者の公開リポジトリに、プロンプトインジェクションを仕込んだ issue を立てる。利用者がエージェントに open な issue を見るよう頼むと、エージェントはそれを読み、利用者の非公開リポジトリのデータをコンテキストに取り込み、公開リポジトリへのプルリクエストに書き出してしまう。攻撃者はそこで読める。著者らは、この攻撃は "does not require the MCP tools themselves to be compromised" と強調し、"a fundamental architectural issue that must be addressed at the agent system level." だと書いている。

道具ではなく流れを縛る：役に立つアシスタントは三つを同時に要することが多い。Google DeepMind の CaMeL のような設計は、信頼できる利用者の依頼だけから手順を組み、データに権限の印をつけて三つとも残す。そうすれば、CaMeL が追跡する制御とデータの流れの範囲では、信頼できない内容がどの手順を実行するかを変えることも、ポリシーが禁じる先へ非公開データを送ることもできない。エージェントを自分で作るなら、能力を一つ外すよりこちらが合うこともある。ただし、こなせるタスクは減る。論文によれば、ベンチマーク AgentDojo で CaMeL は77%、防御なしのエージェントは84%だった。