RAGポイズニング
定義
検索拡張生成で参照する文書、埋め込み、索引などへ誤情報や悪意ある指示を混入させ、モデルの回答や後続操作を不正確・危険な方向へ誘導する脅威。
詳細解説
RAGポイズニングはモデル本体を再学習しなくても、検索対象の知識ベースを通じて影響を与えます。取り込み元の承認、来歴、変更履歴、権限分離、検索結果の引用表示、重要操作の人による確認を行います。
ポイント
- 防御目的では「AIが参照する資料へ誤情報や命令を混ぜ、回答を歪める脅威」と捉える
- 文書の登録者、取得元、更新日時、承認状態を検索結果と結び付ける
- 取得文書内の指示をシステム命令として扱わず、重要な出力は一次情報で検証する
関連用語
よくある質問
RAGポイズニングとは？
検索拡張生成で参照する文書、埋め込み、索引などへ誤情報や悪意ある指示を混入させ、モデルの回答や後続操作を不正確・危険な方向へ誘導する脅威。
RAGポイズニングについて詳しく知るには？
RAGポイズニングはモデル本体を再学習しなくても、検索対象の知識ベースを通じて影響を与えます。取り込み元の承認、来歴、変更履歴、権限分離、検索結果の引用表示、重要操作の人による確認を行います。
RAGポイズニングのポイントは？
防御目的では「AIが参照する資料へ誤情報や命令を混ぜ、回答を歪める脅威」と捉える 文書の登録者、取得元、更新日時、承認状態を検索結果と結び付ける 取得文書内の指示をシステム命令として扱わず、重要な出力は一次情報で検証する
同じカテゴリの用語（攻撃手法）
侵害済みアカウント、VPN認証情報、RDPアクセスなどを入手・販売し、別の攻撃者へ初期アクセスを渡す主体。…
第三者が利用者アカウントを不正に支配する状態。漏えいパスワード、フィッシング、セッション窃取、OAuth同意悪用などが原…
攻撃者が正規サービスと利用者の間に入り、認証情報やセッションを中継・窃取するフィッシング手法。…
国家支援組織や高度な技術を持つ攻撃グループによる長期・潜伏型の標的型攻撃。数ヶ月〜数年かけて侵入・維持・情報収集を行う。…
取引先や経営者になりすまして送金、請求書変更、機密情報送付を促すビジネスメール詐欺。…
APIなどで、利用者がアクセスしてよいオブジェクトかを十分に確認せず、他者データへアクセスできてしまう認可不備。…