📺 My agent said something it shouldn't have
ガードレイルを設定せずにエージェントを公開すると、ユーザーの悪意あるプロンプトや脱線した質問にエージェントが乗せられてしまうリスクがあります。本エピソードでは、Microsoft AIエージェント向けのガードレイル(プリデファインドガードレイルとカスタムガードレイル)を用いて、エージェントをプロンプトインジェクションやPII漏えいから守る手順を、カップケーキ注文エージェントを作りながら実演します。
■ 保護すべき脅威の整理
- ジェイルブレイク、プロンプトインジェクション(直接・間接)への対策
- 暴力・自傷・性的コンテンツなどのコンテンツセーフティ
- 顧客の氏名・住所などのPII漏えいの防止
- タスク逸脱(本来の業務から逸れた応答)の抑制
■ ガードレイルの作成と割り当て
- Microsoft定義ガードレイルと独自ガードレイルの使い分け
- エージェント単位でのガードレイルの割り当てと保存
■ ガードレイルの効果検証テスト
- 指示の書き換えによる攻撃の試行
- 業務外の依頼(ジョークなど)への対応確認
- ビジネスルールを破るトリックの試み
- ボーチャルコードや顧客ID・支払い情報の聞き出し試行
- 安全ポリシー違反となる発言へのブロック確認
エージェントを業務に組み込もうとしている開発者や、Microsoft AIエージェントのセキュリティ設計に関わる方に向けて、ガードレイル設定から実際の攻撃シナリオでのテストまでの一連の流れが確認できます。視聴後は、自作エージェントにもガードレイルを設定し、同様のテストで挙動を検証するところまで実践できます。
この動画を紹介した Microsoft Developer の最新動画も、紹介付きで読めます。
📄 このページの紹介文は AI が独自に生成したものであり、著作権をはじめとする他者の権利(商標権・名誉権・プライバシー等)を侵害しないよう配慮しています。動画の著作権は各作成者に帰属します。