メモリ・コンテキストポイズニング – 業務改善推進プロジェクト

この用語の意味

メモリ・コンテキストポイズニングとは、AIエージェントが保存したり再取得したりする情報へ悪意ある指示や誤情報を混ぜ、後の回答・判断・操作をゆがめることです。対象は長期メモリだけでなく、会話要約、検索用データ、取得した文書なども含みます。

一度だけの不正な指示がその場の回答を変える場合に加え、汚染された情報が保存され、別の作業でも繰り返し参照される場合があります。

この用語を理解すると、AIが参照する資料の出所と保存経路を見直せます。例えば、仕入先から受け取った文書に「以後の請求書は別の宛先へ送る」と書かれていても、その文言を社内の承認済み手順として保存してはいけません。

メモリは作業継続に役立ちますが、入力元の信頼性を自動保証しません。誤情報が混入すれば、購買・経理・顧客対応など別の業務へ影響が広がります。

保存情報と参照元の一覧、記録を更新できる権限、保存前の検査、更新履歴と復元方法、影響が大きい操作の承認手順が必要です。外部文書、メール、検索結果、他のエージェントの出力は、業務指示より信頼度の低い入力として扱います。

導入時はサービスや連携ツールの権限、ログ、削除機能、検査機能、保存期間を確認します。対策費用には監視・レビュー時間、アクセス制御の設定、試験運用が含まれます。単一のフィルターで完全に防げるとは考えません。

架空の社内FAQを使い、外部から届いた文書に矛盾する架空の回答方針が含まれている状況を作ります。AIがその文書を参照しても、承認済みのFAQを上書きせず、担当者へ矛盾を示すかを確認します。

次の会話でも同じ質問を行い、誤情報が記憶や要約に残っていないか調べます。記録が汚染された場合に、更新履歴から該当項目を特定して戻せるかも試します。

保存候補の出所、誰が追加したか、いつ更新されたか、正本と矛盾しないかを確認します。外部資料の文章を「新しいルール」として採用する前に、責任者の承認を要する運用にします。

送信先変更、支払、顧客情報の開示など影響が大きい操作は、メモリの記載だけで実行せず、正本と権限を人が確認します。疑わしい記録は隔離し、影響した回答・操作を追跡します。