ツール・製品
LLM Gateway
LLM Gateway
定義
大規模言語モデルへのリクエストを中継し、モデル選択、認証、フィルタ、監査、レート制限を管理する仕組み。
詳細解説
LLM GatewayはAI Gatewayと近い概念ですが、特にLLM呼び出しの制御に焦点を当てます。社内データ送信、プロンプトログ、APIキー漏えいの確認が重要です。
ポイント
- LLM呼び出しを制御する中継点
- プロンプトとレスポンスの扱いを設計する
- 鍵管理と監査ログが重要
関連用語
よくある質問
LLM Gatewayとは？
大規模言語モデルへのリクエストを中継し、モデル選択、認証、フィルタ、監査、レート制限を管理する仕組み。
LLM Gatewayについて詳しく知るには？
LLM GatewayはAI Gatewayと近い概念ですが、特にLLM呼び出しの制御に焦点を当てます。社内データ送信、プロンプトログ、APIキー漏えいの確認が重要です。
LLM Gatewayのポイントは？
LLM呼び出しを制御する中継点 プロンプトとレスポンスの扱いを設計する 鍵管理と監査ログが重要
同じカテゴリの用語（ツール・製品）
AI Gateway
AI Gateway
複数のLLM APIやAI利用を中継し、認証、監査、レート制限、ポリシー、コスト管理を集約するゲートウェイ。…
API Gateway
API Gateway
複数のAPIへの入口を集約し、認証、ルーティング、レート制限、ログ取得などを担う中継コンポーネント。…
Artifact Registry
Artifact Registry
コンテナイメージ、パッケージ、ビルド成果物などを保存・配布するためのレジストリ。…
Cloud KMS
Cloud Key Management Service
クラウド上で暗号鍵を作成、保管、利用、監査する鍵管理サービスの総称。…
CloudTrail
AWS CloudTrail
AWSアカウント内のAPI操作や管理イベントを記録する監査ログサービス。誰が何を変更したかの追跡に使う。…
CodeQL
CodeQL
コードをデータベース化し、クエリで脆弱なパターンや品質問題を検出する静的解析エンジン。…