AIがウェブやアプリと連携して「行動する」時代、見えない指示でAIを操る「プロンプトインジェクション」が新たな脅威になります。OpenAIが示す攻撃例と多層防御をわかりやすく整理し、実務で押さえるべきポイントを解説します。
プロンプトインジェクションとは何か？ 被害事例と多層防御の全体像
プロンプトインジェクションは、会話型AIの文脈に第三者が悪意ある指示を差し込むことで、AIを意図しない行動に導く攻撃手法です。初期の1対1の対話から進化した現行のAIは、Webページやメール、ドキュメントなど多様な外部コンテンツを会話文脈に取り込みます。そのため、攻撃者がページ内に巧妙に作成した指示や情報を混入させることで、AIはユーザーが求めていない推奨や機密情報の開示を行ってしまう可能性があります。OpenAIの提示する典型例として、休暇の物件調査で攻撃者リスト内に挿入した指示により最適でない物件を推薦してしまうケースや、夜間にメール返信を任せた際に誤って銀行取引明細書を見つけ出し共有してしまうケースが挙げられています。
この問題に対し、OpenAIは「多層的アプローチ」で対処すると明示しています。まず安全教育によって迅速な注入（プロンプトインジェクション）を認識させ、命令の信頼性を識別するモデル訓練を進めています。次に自動化されたモニター群を用い、発見された攻撃パターンを素早く検出・遮断する仕組みを持たせています。さらに、製品・インフラ側でのセキュリティ保護として、信頼できないサイトの回避や、AIが他プログラムを実行する際のサンドボックス化などの対策を講じるとしています。
ユーザー側に与えるコントロールも重要です。ChatGPT Atlas のように「ログアウト」モードでエージェントの権限を限定したり、機密性の高い操作の前に明示的確認を求める「ウォッチモード」を実装することで、意図しない情報共有を防ぎます。また、エージェントには可能であればタスク完了に必要な最低限の資格情報のみを与えることが推奨されています。加えて、OpenAIは内部・外部を問わない大規模なレッドチーミングに数千時間を投じ、攻撃手法を模倣して防御を強化すると述べています。さらには、独立した研究者に対するバグ報奨金プログラムで、現実的な攻撃経路の報告を奨励し、発見を速やかに対処しています。
実務での簡潔な実践指針としては、（1）エージェントのアクセスを必要最小限に制限する、（2）機密サイトでの自動操作は常に監視し、確認要求を徹底する、（3）エージェントに与える指示は極力具体的にする――の三点が挙げられます。これらは攻撃を完全に防ぐものではありませんが、成功確率を下げる有効な運上の工夫です。OpenAIはこの領域を「フロンティアで困難な研究問題」と位置づけ、AGIの恩恵を安全に実現するために研究投資を継続すると明言しています。
詳しくは「OpenAI」の公式ページまで。
レポート／DXマガジン編集部 權
