GenAI
AIアシスタントのプロンプトインジェクションとデータ漏えい:プロバイダーの安全対策、ガードレール製品、自社の制御のどれで守るか
プロンプトインジェクションとは何か、Webページ、メール、文書に隠された指示によって、AIアシスタントがどのようにデータを漏らしうるのか、そしてなぜあらゆる攻撃を捕捉できるフィルターが存在しないのかを説明します。Microsoft、Amazon、Googleの安全対策、独立したガードレール製品とオープンソースのフレームワーク、自社アプリケーションに組み込む制御を比較し、公開されている価格、ローンチ前に実施すべきテスト、確認すべき質問を示します。
執筆:amBrain読了11分
この記事の内容
プロンプトインジェクションとは、AIアシスタントが、攻撃者が読み込ませるテキストに仕込んだ指示に従ってしまう攻撃です。そのテキストは、ユーザーから来ることもあれば、アシスタントが処理するWebページ、メール、チケット、文書から来ることもあります。アシスタントが非公開のデータにアクセスでき、さらに何かを外部へ送れる場合、インジェクションが成功すると、データ漏えいにつながるおそれがあります。防御の層は三つあります。モデルやクラウドのプロバイダーが提供する安全対策、独立したガードレール製品やオープンソースのフレームワーク、そして自社のアプリケーションに組み込む制御です。最初の二つは、攻撃が成功する頻度を下げるものです。被害に確実な上限を設けられるのは三つ目だけなので、一つでは足りません。
先に結論を言うと、まずプロバイダーのインジェクション検査を有効にし、どの入力が読み取り対象になるかを確認してください。文書やツールの結果は対象外であることが多いからです。複数のモデルやクラウドを使う場合や、一つのポリシーと一つのログが必要な場合は、独立したガードレール製品やフレームワークを加えます。どの場合でも、アプリケーションに自社の制御を組み込んでください。アシスタントのアクセスは最小限にし、データを送ってよい場所はリストにあるところだけにし、送信、支払い、削除は人が承認するようにします。
プロンプトインジェクションとは何か。間接型はどのようにアシスタントに届くのか。
Open Worldwide Application Security Project(OWASP)は、非営利のセキュリティ団体です。大規模言語モデル(LLM)を使ったアプリケーションのリスクをまとめた2025年版のTop 10で、プロンプトインジェクションを第1位に挙げています。直接インジェクションでは、ユーザー自身が指示を入力します。たとえば、サポートボットにルールを無視するよう言う場合です。間接インジェクションでは、指示がコンテンツの中に入って届きます。「間接プロンプトインジェクションは、LLMがWebサイトやファイルなど外部のソースから入力を受け取るときに発生します。」
攻撃者は、こちらのシステムへのアクセスを必要としません。MicrosoftのSecurity Response Centerは、被害者に送られるメールと共有文書という二つの例を挙げています。そこにある指示は、「たとえば白地に白の文字や、表示されないUnicode文字を使って、ユーザーから隠されている場合があります」。
なぜインジェクションが成功するとデータ漏えいにつながるのか。
漏えいが起きるには、三つの条件が同時にそろう必要があります。Metaの「Agents Rule of Two」は、Simon Willisonの「lethal trifecta(致命的な三つ組)」にも一部着想を得たもので、その三つを次のように挙げています。
- アシスタントが、受信メールやWebページなど、信頼できない入力を処理する。
- 機密性の高いシステムや非公開のデータにアクセスできる。
- レコードを変更したり、データを外部に送ったりできる。
Metaは、アシスタントが一つのセッションで持つ条件は二つまでにすべきだとしています。三つすべてが同じセッションで必要になるタスクでは、そのアシスタントは「自律的に動作させるべきではなく、最低でも監督が必要です」。
メール送信ツールがなくても、データは外に出ます。Microsoftは、モデルが画像リンクを書き出し、そのWebアドレスに盗んだデータを載せる手口を説明しています。ユーザーのブラウザーが画像を読み込むと、データが「ユーザーが何も操作しなくても」攻撃者に送られます。クリックできるリンクでも、クリックされれば同じデータが漏れますし、公開された場所に書き込めるツールがあれば、直接漏らすこともできます。
米国の国家脆弱性データベース(National Vulnerability Database)には、Microsoft 365 Copilotのインジェクションの欠陥が、「認可されていない攻撃者がネットワーク経由で情報を開示できる」ものとして登録されています。Microsoftは、その深刻度を10点満点で9.3と評価しました。モデルへの指示であるシステムプロンプトにルールを書いても、こうした漏えいは確実には止められません。OWASPの機密情報の開示(sensitive information disclosure)の項目は、そうしたルールは「常に守られるとは限らず、プロンプトインジェクションなどの方法で回避されるおそれがあります」と述べています。
なぜあらゆるインジェクションを捕捉できるフィルターは存在しないのか。
英国の国家サイバーセキュリティセンター(National Cyber Security Centre、NCSC)は、その理由をこう説明しています。「現在の大規模言語モデル(LLM)は、プロンプトの中の指示とデータの間にセキュリティ上の境界を設けていません。」SQLインジェクションは、データベースに対する古くからの攻撃ですが、入力を決してコマンドとして扱わないことで防げます。言語モデルにはそれができないため、NCSCは、プロンプトインジェクションは「残存リスクとして残り続け、製品やアプライアンスでは完全には軽減できない」と結論づけています。
モデルの提供元も同じ見方です。Metaは、プロンプトインジェクションを「すべてのLLMに共通する、根本的で未解決の弱点」と呼んでいます。Anthropicは、自社のChromeブラウザー拡張機能を、テスト環境ごとに100回試行する社内の適応型攻撃者に対してテストしました。改良した安全対策を施したClaude Opus 4.5でも、攻撃者は約1%の攻撃で成功しています。Anthropicは、この水準は「依然として無視できないリスク」だと述べています。
検出モデル(分類器)は、すでに確認された攻撃から学習します。Metaは、Prompt Guard 2の分類器が対象とするのは「明示的で既知の攻撃パターン」だと述べ、その限界の一つとして「適応型攻撃に対する脆弱性」を挙げています。NCSCは購入者にこう助言しています。「プロンプトインジェクションを『止められる』と主張する製品には注意し、むしろ、どのようにリスクを減らすのかを理解している提供者に目を向けてください。」
モデルやクラウドのプロバイダーの安全対策は、何をカバーしていますか。
Microsoft、Amazon、Googleは、モデルと並べて動かせるインジェクション検査を提供しています。
MicrosoftのPrompt Shieldsは、Azure AI Content Safetyの一部で、「ユーザープロンプト攻撃」と「ドキュメント攻撃」を検出します。後者についてMicrosoftは、「ドキュメントの内容(文書、メール、Webページ)に埋め込まれた隠れた指示」と定義しています。Microsoftのモデルとエージェント向けプラットフォームFoundryでは、「ドキュメント攻撃の検出は既定でオフ」です。アプリケーションプログラミングインターフェース(API)経由でサービスを呼び出す場合、「API自体はコンテンツをブロックしたり振り分けたりしません」。そのため、結果への対処は自社のコードが行います。検出モデルは「主に英語のコンテンツで学習・評価されています」。Microsoftの料金表では、このサービスは現在Content Safety in Foundry Control Planeと呼ばれています。無料枠は月5,000テキストレコードで、スタンダードティアはほとんどのリージョンで、1,000テキストレコード(1レコードは最大1,000文字)あたり0.375ドルです。
Amazon Bedrock Guardrailsは、プロンプト攻撃フィルターが検出するインジェクションを「開発者が指定した指示を無視させたり上書きさせたりするよう設計されたユーザープロンプト」と定義しています。BedrockのInvokeModel呼び出しでは、ユーザー入力にタグを付ける必要があります。「タグがない場合、そのユースケースのプロンプト攻撃はフィルタリングされません」。Amazonはさらに、「プロンプト攻撃フィルターはツールの結果を評価しません」と述べています。プロンプト攻撃の検査を含むコンテンツフィルターは、最大1,000文字のテキスト1,000単位あたり0.15ドルです。プロンプト攻撃の検査だけを別の操作で行う場合は0.08ドルです。個人データをブロックまたはマスクするフィルターは0.10ドルです。
Google CloudのModel Armorは、「Google Cloudまたは他のクラウドプロバイダー」に展開されたAIについて、プロンプト、応答、アップロードされた文書を検査し、インジェクション、機密データ、悪意のあるリンクを探します。「各プロンプトと応答を、単発のリクエストとして個別に検査」するため、それ以前のメッセージは見ません。また、「Base64でエンコードされたプロンプトなど、エンコードされたコンテンツはデコードも検査もしません」。Base64は、データを文字、数字、いくつかの記号で表す一般的な方法です。Model Armorは月200万トークンまで無料で、それを超えると100万トークンあたり0.10ドルです。1トークンはおよそ4文字として計算されます。
プロバイダーは、インジェクションに耐えるようモデルの訓練も行っています。Googleは、敵対的訓練によって「Gemini 2.5モデルにおける間接プロンプトインジェクション攻撃への防御が大幅に強化されました」と述べています。オープンソースのOpenAI Guardrailsライブラリ(まだプレビュー段階)には、「不整合なツール呼び出しとツール出力」を探すインジェクション検査があります。
独立したガードレール製品やオープンソースのフレームワークは、何を加えますか。
独立したガードレール層を、アプリケーションと、アプリケーションが呼び出すすべてのモデルの間に置けます。そうすれば、一組のルールと一つのログですべてをカバーできます。
NVIDIAのNeMo Guardrailsは、Apache 2.0ライセンスのオープンソースです。ユーザー入力、取得した文書チャンク、ツール呼び出し、出力に対して、レールと呼ばれる検査を実行します。取得レールは「チャンクを拒否し、LLMへのプロンプトに使われないようにできます」。MetaのLlama Prompt Guard 2は、自社のサーバーで動かす小型の分類器です。一度に読めるのは512トークンなので、長い文書は分割する必要があります。どちらも無料でダウンロードできます。かかるのは、サーバー、遅延の増加、そして調整するエンジニアのコストです。
複数の商用製品で、運営元が変わっています。Check PointはLakeraの買収を完了し、そのランタイム保護をAI Agent Securityとして販売しています。Palo Alto NetworksはProtect AIを買収してPrisma AIRSプラットフォームに組み込み、F5はCalypsoAIを買収してF5 AI Guardrailsを販売しています。数字は各社が自ら示しているものです。Check Pointは、Lakeraについて「検出率98%超、遅延50ミリ秒未満、誤検知率0.5%未満」と評価しています。この記事のために確認した製品ページには、価格が載っているものはありません。デモの申し込みが用意されていて、Lakeraは無料で始められます。
どの制御を、アプリケーションに自分で組み込む必要があるか。
こうした制御は、攻撃を見つけようとはしません。だまされたアシスタントが到達できる範囲と、できることを制限します。Microsoftのガイダンスは、「間接プロンプトインジェクションは起こるものと想定する」ことから始まります。OWASPは、認可チェックのような重要な制御は「LLMに任せてはなりません」と述べています。
- アシスタントには、タスクに必要なツールと権限だけを、サインインしているユーザー自身の権限の範囲内で与えてください。OWASPの過剰な権限(excessive agency)の項目では、メール要約ツールを例に挙げ、「必要なのはメールを読む権限だけかもしれません」と述べています。
- 信頼できないコンテンツは、指示から切り離してください。タスクが許すなら、信頼できないテキストを読む前に、すべてのツール呼び出しを計画しておきます。これが「plan-then-execute(計画してから実行)」パターンで、Microsoftを含む複数の企業と研究機関の研究者による論文が挙げる六つのパターンの一つです。こうしておけば、インジェクションがあっても、「定義された計画に含まれていないツールをLLMに実行させることはできません」。ただし、計画済みの呼び出しが送る内容、たとえばメールの本文を変えることは、なお可能です。
- データを送ってよい場所は、リストにあるところだけにしてください。承認済みのメールドメイン、承認済みのWebアドレス(URL)、自社ドメインの画像やリンクです。Googleは、Geminiの出力フィルターが「外部の画像URLを識別し、表示しません」と述べています。
- 送信、支払い、削除、レコードの変更を伴う操作は、実際の宛先と内容を見たうえで、人が承認するようにしてください。MicrosoftはOutlookのCopilotについて、「ユーザーが生成されたテキストを明示的に承認し、自分でメールを送信する必要があります」と述べています。Metaは、「ユーザーが警告のインタースティシャルを確認もせずに承認してしまうこと」について注意を促しています。
- システムプロンプトには、秘密情報やアクセスルールを入れないでください。OWASPは、システムプロンプトは「秘密として扱うべきではなく、セキュリティ制御として使うべきでもない」と述べています。
- NCSCの提案どおり、「LLMへの入力と出力の全体、およびツールの使用状況」を記録してください。アシスタントが1時間または1日に実行できる操作の回数にも上限を設けます。
こうした制御には代償があります。CaMeLは、GoogleとETH Zurichの研究者による設計で、ユーザーのリクエストと信頼できないデータを切り離します。AgentDojoのエージェントテストで、タスクの77%を「証明可能な安全性とともに」完了しました。対策なしのシステムは84%でした。
それぞれの防御層はどんなときに向いていて、なぜ組み合わせるのか。
- プロバイダーの安全対策は、アシスタントが一つのクラウドまたはモデルプロバイダー上で動いているなら、最初の層として適しています。検査1回あたりのコストは小さく、新しい契約も要りません。
- 複数のモデルやクラウドにまたがって使う場合や、セキュリティチームが一つのポリシーと一つのログを求める場合には、ガードレール製品やフレームワークが向いています。オープンソースのツールなら、自社のサーバー上でテキストを検査することもできます。
- 自社の制御は、どのデプロイメントにも必要です。アシスタントがMetaの三つの条件をすべて満たす場合、それなしでは、どの分類器でもリスクを十分に下げられません。
Microsoft自身のガイダンスも、「単独で十分な解決策はない」と述べ、検出に、常に同じ動作をする決定的な制御を組み合わせています。NCSCはこう付け加えています。「システムのセキュリティが残るリスクに耐えられないなら、LLMを使うのに適したユースケースではないかもしれません。」
上記の定価で、1,000文字のテキスト100万件を検査すると、Azureのスタンダードティアでは約375ドルかかります。Bedrockでは、コンテンツフィルターで150ドル、別のプロンプト攻撃検査で80ドルです。Model Armorは、無料枠を超えた分が約25ドルです。検査の内容は異なるため、これらの数字はおおよその目安として見てください。Microsoftは、こうした検査が「正当な操作をまれにブロックし、ユーザー体験に影響を与えることがあります」と注意しています。
ローンチ前に何をテストすべきか。
OWASPは、「モデルを信頼できないユーザーとして扱う」ようにテストすることを勧めています。自社のコンテンツ、ツール、権限を使って、アシスタント全体をテストしてください。
- チャット、アップロードされたファイル、取得した文書、受信メール、Webページ、ツールの結果など、あらゆる入力に指示を仕込みます。隠しテキストや、クライアントが使うすべての言語も含めてください。
- エンコードされたテキスト、複数のファイルに分割した指示、指示が冒頭から遠い位置にある長い文書を試します。
- テスト用の秘密情報を仕込み、画像リンク、クリックできるリンク、外部へのメール、Webリクエスト、共有システムのどれを通じても取り出せないか試します。
- あるクライアントとしてサインインし、別のクライアントのデータを読めないか試します。
- 誤検知、つまり無害なメッセージを攻撃と判定してしまうケースを、実際のトラフィックで測定してください。Googleは、Model Armorをまず、ブロックせずに記録だけを行う「Inspect only」モードで始めることを勧めています。
オープンソースのスキャナーで、この作業の一部を自動化できます。NVIDIAのgarakは、「データ漏えい、プロンプトインジェクション」などの不具合を探ります。MicrosoftのPyRITは、「自動スキャン、適応型のマルチターン攻撃、人が主導するテスト」を組み合わせます。Promptfooは「現在はOpenAIの一部」だとしており、引き続きオープンソースです。コマンドラインからレッドチームテスト、つまり模擬攻撃を実行します。モデル、プロンプト、ツールを変更するたびに、テストを繰り返してください。
アシスタントが個人データを漏らしたら、どうなりますか。
EUの一般データ保護規則(General Data Protection Regulation、GDPR)では、アシスタントを通じた漏えいが個人データ侵害にあたる場合があります。原文の第4条は、これを「偶発的または違法な、個人データの破壊、喪失、改変、不正な開示、またはそれへのアクセスにつながるセキュリティ侵害」と定義しています。第33条は、管理者に対し、監督機関への通知を「不当な遅滞なく、かつ、可能な場合には、侵害を認識してから72時間以内に」行うよう求めています。例外は、人々の権利と自由にリスクが生じるおそれがない侵害です。ログを見れば、何がいつ外に出たかがわかります。
ベンダーや開発会社に何を尋ねるべきか。
- お使いの検査は、どの入力を読みますか。ユーザーのメッセージ、文書、メール、ツールの結果のどれですか。既定でオフになっている検査はどれですか。
- 検査はブロックまでしてくれるのか、それとも判定結果を受けて自社のコードが対処する必要があるのか。検査が止まったときはどうなるのか。
- 検出率や誤検知率は、どの攻撃、言語、トラフィックで測定したものですか。当社のコンテンツでもテストしてもらえますか。
- こちらのテキストはどこで検査され、何が保存され、どれくらいの期間保持されますか。
- 一回の検査でどれだけ遅延が増えるのか。
- アシスタントはどのツールを、誰の権限で呼び出せ、どこへデータを送れますか。
- どの操作に承認が必要で、承認者には何が見えますか。
- 自社で開発をお任せする場合、コード、テスト、ログの所有者は誰で、どの部分が再利用可能なコンポーネントにあたるのか。
amBrain はどこに位置づけられるか
amBrainはこのブログを公開しています。自社プロダクトについては、「自社プロダクトのaigoは、会社の事実を集めた一つの共有メモリをもとに、調査、執筆、確認、計測を行うAIエージェントで動きます。外部に出るものはすべて、人が承認します。」と述べています。言語モデルを使うクライアント案件については、「FinTechのクライアントの環境内で、LLM連携を本番稼働させたことがあります。ブローカーや取引所から届く非構造化の通知(コーポレートアクション、銘柄や証拠金の変更)を抽出して正規化し、取引システムが使う構造化レコードにする案件です。」と述べています。
同社は次のように述べています。「amBrainは2019年からソフトウェアを開発しています。」クライアントとの進め方については、「3つの形態があります。フルデリバリー、専任チーム、お客様のチームに組み込むエンジニアです。」と述べています。所有権についての文は、「クライアントは、当社の再利用可能なコンポーネントを除き、プロダクトとコードの完全な所有権を持ちます。」です。契約する前に、そのコンポーネントの一覧を名前つきでもらってください。
ここで引用したamBrainの文のどれも、プロンプトインジェクション対策に関するものではなく、amBrainがクライアント向けにガードレールやエージェントを構築している、あるいはクライアントのセキュリティをレビューしているとも述べていません。
この記事はケーススタディではなく、上で引用したFinTechの文を除き、クライアント案件には触れていません。その文は、そのプロジェクトをどう保護したかについては何も述べていません。ほかの引用は、上に挙げた組織、企業、プロジェクトが公開しているページ、arXivの研究論文、米国の国家脆弱性データベース、legislation.gov.ukから、2026年11月13日に確認したものです。この記事は、amBrainとそれらのいずれとの関係も主張せず、どの製品も推奨せず、amBrainの価格や納期も示していません。
これは法的助言でもありません。データ保護法がご自身のアシスタントにどう適用されるか、情報漏えいへの対応計画に何を盛り込むべきかは、弁護士に確認してください。amBrainが候補に入っている場合も、ほかの会社と同じ質問をしてください。
トピック
- プロンプトインジェクション
- AIセキュリティ
- ガードレール
- 自作か購入か