本稿はCato AI Securityで設定できるDetectorについて記載した記事になります。
はい。Cato AI Securityには、ジェイルブレイク、プロンプトインジェクション、難読化攻撃、有害または安全でないコンテンツなどを検出するためのDetectorがあります。
(日本語含め、複数言語で対応しています。)
Detectorを利用することで、ユーザーがAIに入力した内容(プロンプト)やAIからの応答を検査し、Detectorに該当する対話を可視化できます。
また、検出した内容に対して、ポリシーに応じて記録 / ブロックすることができます。
これにより、まずは検出・記録によって利用状況や影響を確認し、必要に応じてブロックするといった運用が可能です。
補足
本稿は下記メーカーKBを参考に作成されています。
https://knowledge.catonetworks.com/docs/ja/understanding-ai-security-detectors
本稿の内容は公開日時時点の情報に基づきます。