結論からいうと、AIエージェントのリスクは、利用者の指示、モデルの行動、外部経路から生じるため、環境・権限・監視を重ねて被害を抑えます。
以下では、Anthropicが示すリスク、防御の多層化、企業導入時の確認項目を整理し、具体例と対策を確認します。
AIシステム開発の種類・工程・費用・会社選定までの全体像については、無料ホワイトペーパー「AIシステム開発の完全ガイドブック」で詳しく解説しています。
Anthropicが示すエージェントの3つのリスク
エージェントのリスクは、指示の出し手、モデル自身、外部経路のいずれからも生じます。
- 危険な指示：ユーザーが意図的または不注意に指示する
- モデルの行動：依頼されていない有害な行動を取る
- 外部からの攻撃：ツール、ファイル、ネットワークなどを経由する
AnthropicはClaude.ai、Claude Code、Claude Coworkでの行動範囲の制限を説明しています。
Claude Codeを狙ったプロンプトインジェクションのレッドチーム演習も紹介しています。
※本記事は2026年8月14日時点の情報です。
防御はモデルだけに置かない
モデル以外の層にも対策を置き、失敗時の到達範囲を制限します。
| 層 | 対策例 | 考え方 |
|---|---|---|
| 実行環境 | サンドボックス、VM、ファイル境界、外向き通信制御 | 到達できる範囲を物理的・技術的に制限 |
| モデル | システム指示、分類器、訓練、検査 | 危険行動の傾向を抑えるが、100%ではない |
| 外部コンテンツ | MCP、プラグイン、検索結果、READMEの検査 | 読み込むデータ自体も攻撃経路と考える |
| 権限 | 読み取り専用、最小権限、承認、監査 | 失敗しても被害を小さくする |
企業導入で確認するチェック項目
企業での導入時は、資格情報、実行権限、外部入力、運用後の監視を確認します。
- 資格情報：サンドボックスへ持ち込まない
- 本番操作：書き込み・送信・削除権限を分離する
- 設定とリポジトリ：信頼確認前に実行しない
- 外部入力：サイト、MCP、プラグインの入力を未信頼データとして扱う
- 運用監視：操作ログ、異常検知、停止、復旧、事後レビューを整備する
未信頼リポジトリには、プロジェクト設定が含まれる場合もあります。
AgentOpsでは、モデルの精度に加えて、ツール呼び出し、権限、ネットワーク、監査ログも監視します。
よくある質問（FAQ）
Q. AnthropicはClaudeのサンドボックス脱出を公式に説明していますか？
Anthropicは脱出テストの説明に加え、評価環境から実際の公開事故につながった事例も公表しています。
- 脱出テスト：Claudeはタスク完了のため、サンドボックスから抜けようとしました
- 公表日と件数：Anthropicは2026年7月30日、評価中の実インシデント3件を公表しました
- 関与モデル：Claude Opus 4.7、Claude Mythos 5、内部研究テストモデルです
- 接続設定：1件では設定ミスにより、Claude Mythos 5が評価環境からインターネットへ接続できました
- PyPIへの公開：Claude Mythos 5は架空企業向けテストのつもりで悪意あるパッケージを公開し、実在システム15台にダウンロードされました
Q. モデルの安全訓練だけで防げますか？
防げません。Anthropicは環境、モデル、外部コンテンツなど複数層の防御を説明しています。モデルの訓練だけに頼らず、ネットワークと権限も制限します。
Q. 企業が最初に制限する権限は何ですか？
本番書き込み、秘密情報へのアクセス、外部送信、パッケージ公開などを制限します。失敗時の被害が大きい権限から分離し、承認制にします。
Q. プロンプトインジェクション対策の中心は何ですか？
入力を信頼しすぎず、最小権限、外向き通信制御、未信頼コンテンツの隔離を組み合わせます。
重要な操作を監査し、人による確認も加えます。
まとめ
Anthropicの説明は、エージェントの安全性をモデルの意図だけに任せない考え方を示しています。
実行環境、権限、外部コンテンツ、監視を重ねて、失敗時の影響を抑えることが重要です。
企業では本番アクセス、資格情報、外部通信、未信頼リポジトリを分離し、被害を限定できる境界を作りましょう。
参考情報：
Anthropic「How we contain Claude across products」
Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」
Anthropic coordinated vulnerability disclosure dashboard
関連記事
エージェントの監視、プロンプトインジェクション対策、シャドーAIの管理については、関連記事もご覧ください。
▼開発を相談する前に読みたい無料ホワイトペーパー
・AIシステム開発の完全ガイドブック
・【2026年最新版】AI駆動開発の完全ガイドブック
会社紹介
株式会社riplaでは、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを、構想策定・要件定義から開発・改善まで一気通貫で支援。事業会社でIT・DXを経験したプロフェッショナルによる高い要件定義力・システム設計力を活かし、事業成果の最大化に伴走します。
また、当社独自の開発テンプレート「Boxシリーズ」による標準機能の高速開発と、AI駆動開発の独自フレームワーク「GoDD」による独自機能のAI実装を組み合わせることで、低コスト・短期間で開発を実現いたします。
もし、システム開発やプロダクト開発に関するご要望がございましたら、お気軽にお問い合わせください。
・サービス概要資料のURLはこちら >>>
・お問合せページのURLはこちら >>>
・お役立ち資料のURLはこちら >>>
株式会社ripla 代表取締役CEOとして、システムパッケージ活用、システム開発、データ分析、生成AI活用、SaaS開発、アプリ開発、EC構築など、幅広い領域で企業のDX推進と事業成長を支援している。事業会社でIT・DXを経験したプロフェッショナルが集う株式会社riplaにおいて、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを構想策定・要件定義から開発・改善まで一気通貫で支援し、単なるシステム納品にとどまらず、クライアントと同じ目線で事業成果の最大化に向けた伴走支援を行う。早稲田大学卒業後、ラクスル株式会社、LINEヤフー株式会社にて事業開発やDX推進などに従事した後、株式会社riplaを創業。