生成AIのセキュリティリスク — 入力・権限・出力を防御側で確認する

生成AIのリスクとは：文章だけでなく、接続先と権限も見る

生成AIは文章を生成するだけでなく、検索、文書参照、外部ツールの操作と組み合わせて使われます。リスクを決めるのはモデル名だけではありません。何を入力し、何へアクセスでき、出力をどう利用するかが重要です。

本ページはOWASP GenAI Security Projectを参考にした防御教材です。攻撃プロンプトや回避手順は扱いません。出力の誤りをすべて「攻撃」と呼ぶことも避けます。

• 入力

  外部文書・ユーザー入力・機密情報の扱いを区別。

• 権限

  参照できるデータと、実行できる操作を必要最小限に。

• 出力

  根拠・承認・安全な処理を確認し、自動で重要操作へ渡さない。

主なリスクの違い

リスク	確認すること	誤解しないこと
プロンプトインジェクション	外部入力が意図した指示や処理を変えない設計か	指示文を追加するだけで解決すると考えない
機密情報の漏えい	入力・参照・ログ・出力に含む情報と共有先	モデルへの入力を通常の社内メモと同じ扱いにしない
過剰な権限・自動操作	ツールの権限、承認、制限、失効	会話が自然でも、重要な操作の承認は別
不適切な出力処理	生成内容をコードや命令として実行しないか	出力は検証済みの安全なデータとは限らない
誤情報	根拠、引用先、更新日、確認者	流暢な回答だけで事実と判断しない

導入前のチェックリスト

• 利用目的、対象データ、外部サービス、責任者を決める。
• 社外へ送信してよい情報、保存・学習への利用、契約と設定を確認する。
• 検索・参照は、利用者が本来アクセスできる範囲へ制限する。
• APIキー、サービスアカウント、ツール権限を最小化する。
• 送金、公開、削除、権限付与など重要な操作に承認と制限を設ける。
• 外部文書や生成内容を、そのまま実行可能な命令として扱わない。
• ログ、停止手段、キー失効、代替業務を準備する。

プロンプトの改善は一つの対策ですが、アクセス制御や重要操作の承認を代替しません。合成データによる検証と、運用中の監視を組み合わせます。

初動対応と記録

意図しない操作や情報共有が疑われた場合は、接続先、利用権限、要求と実行の時刻、対象データ、出力の共有先を確認します。外部への操作を止める場合も、業務影響と代替手段を責任者が判断します。

入力・出力のログに秘密情報がある可能性があります。調査資料の閲覧者、保存場所、マスキングを決め、機密情報を一般の問い合わせフォームへ貼り付けないでください。確認した事実、推測、未確認事項を分けて記録します。

ディープフェイクや不審な依頼への備え

映像・音声・自然な文章だけで本人や依頼の正当性を確定しません。振込、アカウント復旧、権限付与は、事前に登録した連絡先と承認手続きで確認します。別経路の確認だけを唯一の対策とせず、二重承認、変更記録、権限管理も組み合わせます。

AI時代のフィッシング対策、最小権限、秘密情報の検出、SaaS権限棚卸しへ進めます。