#機械学習 | SQAT®.jp

生成AIやLLM（大規模言語モデル）を活用したサービスやシステムが広がる一方、プロンプトインジェクションをはじめ、LLMを利用するアプリケーション特有のセキュリティリスクにも注意が必要です。本記事では、LLMセキュリティの基本から、OWASPが示す主なリスク、プロンプトインジェクションやジェイルブレイクなどの脅威、LLMを組み込んだシステムを安全に利用・運用するための対策について解説します。

LLMセキュリティとは

LLM（Large Language Model：大規模言語モデル）は、大量のデータを学習し、入力された指示（プロンプト）に応じて文章の生成や要約、質問への回答などを行うAIモデルです。生成AIサービスだけでなく、チャットボットや検索、業務システムなど、さまざまなサービスへの活用が進んでいます。こうしたLLMを利用したアプリケーションでは、従来のシステムと同様に不正アクセスや情報漏洩への対策が必要であることに加え、プロンプトインジェクションなど、LLMの特性を悪用した脅威についても考慮する必要があります。

LLMセキュリティでは、LLMそのものだけでなく、LLMに入力・参照させるデータや、連携する外部ツール・API、LLMが生成した出力の扱いなどを含め、システム全体のリスクを考えることが重要です。

AIセキュリティ全体のリスクや、企業に求められる対策については、「AIセキュリティとは？生成AI時代に企業が知っておくべきリスクと対策」で詳しく解説しています。

OWASPが示すLLMアプリケーションのセキュリティリスク

LLMを利用したアプリケーションの代表的なセキュリティリスクを整理したものとして、OWASP GenAI Security Projectが公開する「OWASP Top 10 for LLM Applications」があります。2025年版に続き、2026年8月には最新版となる「OWASP GenAI LLM Top 10 2026」が公開されました。2026年版では、リスクの順位や対象範囲が更新され、実際のAIセキュリティインシデントに関する調査結果なども反映されています。以下の10項目が挙げられています。

LLM01:2026 プロンプトインジェクション
概要：悪意のある入力などによってLLMの指示や意図された動作が変更され、意図しない出力や処理につながるリスク。ユーザーが直接入力する場合だけでなく、LLMが参照する外部コンテンツなどを介して間接的に影響を受ける場合もある
LLM02:2026 センシティブ情報漏洩
概要：LLMやLLMを利用したアプリケーションから、個人情報、認証情報、機密情報などのセンシティブな情報が意図せず開示されるリスク
LLM03:2026 過剰な代理権
概要：LLMを利用したシステムに、必要以上の機能や権限、自律性が与えられることで、意図しない操作や有害な処理が実行されるリスク
LLM04:2026 サプライチェーン
概要：モデル、データ、ライブラリ、外部サービスなど、LLMアプリケーションを構成するサプライチェーンの脆弱性や改竄によって、システムの安全性や信頼性が損なわれるリスク
LLM05:2026 データとモデルの汚染
概要：学習データやファインチューニング用データ、モデルなどが意図的または不適切に操作されることで、モデルの動作や出力の完全性が損なわれるリスク
LLM06:2026 無制限の消費
概要：LLMが利用する計算資源やAPIなどの消費を適切に制限できていないことで、サービス停止や過大なコストなどにつながるリスク
LLM07:2026 誤情報の生成
概要：LLMが事実と異なる情報や不正確な情報を生成し、その出力が信頼されることで、誤った判断や処理につながるリスク
LLM08:2026 隠れたコンテキストの露出
概要：システムプロンプトをはじめ、LLMアプリケーションの動作を支える非公開のコンテキストや内部情報が、意図せず露出するリスク
LLM09:2026 ベクトルと埋め込みの脆弱性
概要：RAG（検索拡張生成）などで利用されるベクトルや埋め込み、検索処理の不備によって、情報漏洩や不適切な情報の取得、検索結果の操作などにつながるリスク
LLM10:2026 不適切な出力処理
概要：LLMが生成した出力を十分に検証・無害化せず、他のシステムやコンポーネントへ渡すことで、不正な処理やシステムへの影響につながるリスク

このように、LLMアプリケーションのセキュリティでは、LLMへの入力だけでなく、参照するデータ、与える権限、外部システムとの連携、生成された出力の扱いなど、システム全体を考慮する必要があります。なかでも代表的な脅威の一つが、LLMへの入力や外部コンテンツを通じて意図しない動作を引き起こす「プロンプトインジェクション」です。次に、その仕組みと注意すべきポイントを詳しく見ていきます。

プロンプトインジェクションとは

プロンプトインジェクションとは、LLMに与えられる入力によって、開発者が意図していない動作や出力を引き起こす脆弱性です。LLMを利用したアプリケーションでは、ユーザーからの指示だけでなく、システムプロンプトや外部から取得した文書、Webページ、ツールの出力、会話履歴など、さまざまな情報が処理されます。こうした情報に悪意のある指示が含まれていると、本来の指示よりもその内容が優先され、機密情報の漏洩や意図しない処理につながる可能性があります。

プロンプトインジェクションは、大きく「直接プロンプトインジェクション」と「間接プロンプトインジェクション」に分けて考えることができます。

直接プロンプトインジェクション

直接プロンプトインジェクションは、ユーザーがLLMに入力する内容によって、本来想定されていない動作を引き起こすものです。例えば、業務上の質問に回答するよう設計されたAIチャットボットに対して、設定された指示を無視するよう求めたり、本来回答すべきではない情報を出力するよう誘導したりするケースが考えられます。直接プロンプトインジェクションには、LLMに設定された安全上の制約を回避させる「ジェイルブレイク」も含まれます。ジェイルブレイクについては、後ほど詳しく解説します。

間接プロンプトインジェクション

間接プロンプトインジェクションは、ユーザーが悪意のある指示を直接入力するのではなく、LLMが参照する外部の情報を介して、意図しない動作を引き起こすものです。

例えば、LLMがWebページや文書、メールなどを読み取って回答を生成するシステムで、それらのコンテンツにLLMへの指示が埋め込まれていた場合、LLMがその内容を処理し、意図しない出力や操作につながる可能性があります。

特に、社内文書などを検索して回答を生成するRAG（検索拡張生成）や、外部ツール・APIと連携して処理を実行するAIエージェントでは注意が必要です。LLMが参照する情報の範囲や実行できる操作が広がるほど、プロンプトインジェクションが成功した場合の影響も、回答内容の改変だけにとどまらない可能性があります。

そのため、プロンプトインジェクションへの対策では、入力内容を確認するだけでなく、LLMがアクセスできるデータや利用できる機能・権限、生成された出力の扱いまで含めて、システム全体で対策を考えることが重要です。

ジェイルブレイクとは

ジェイルブレイクとは、LLMに設定された安全上の制約を回避し、本来は生成が制限されている情報や回答を引き出そうとする手法です。攻撃者は入力する指示を工夫することで、モデルに設定された安全対策を回避し、開発者が意図していない応答を生成させようとします。

プロンプトインジェクションとの違い

プロンプトインジェクションとジェイルブレイクは関連する概念ですが、目的に違いがあります。プロンプトインジェクションは、LLMに与える入力を通じて、本来意図されていない動作や出力を引き起こすものです。一方、ジェイルブレイクはその中でも、モデルに設定された安全上の制約を回避することを目的とします。つまり、プロンプトインジェクションがLLMの動作を意図しない方向へ変化させる幅広い脅威を指すのに対し、ジェイルブレイクは、安全対策を回避して本来制限されている応答を引き出すことに焦点を当てた手法と整理できます。

ジェイルブレイクの事例

ジェイルブレイクに対する耐性は、LLMの安全性を考えるうえで重要な要素の一つです。

例えば2025年、Ciscoとペンシルベニア大学の研究チームは、DeepSeek-R1を対象に自動化されたジェイルブレイク手法を用いた安全性評価を実施しました。研究では、有害な要求を含むベンチマーク「HarmBench」から抽出した50件のプロンプトを使用し、モデルの安全対策を回避できるかを検証しています*1。

この事例が示すように、LLMに安全上の制約が設けられていても、それだけですべての不適切な出力を防げるとは限りません。また、LLMやその利用方法は継続的に変化するため、新たな攻撃手法を想定した評価や対策の見直しも必要になります。

さらに、企業がLLMサービスを利用する際には、モデルの安全性だけでなく、サービスそのもののセキュリティやデータの取扱いについても確認することが重要です。通信の安全性やデータの保存先・利用目的、入力した情報が学習に利用されるかなどを十分に確認しないまま利用すると、従業員が入力した個人情報や機密情報が意図せず外部に送信・保存され、情報漏洩や二次被害につながる可能性があります。

生成AIを業務で利用する際に注意したい情報漏洩や著作権、誤情報などのリスクについては、「生成AIのリスクとは？企業利用で注意すべき情報漏洩・著作権・誤情報と対策」で詳しく解説しています。

そのため、LLMを利用したシステムでは、モデル側の安全機能だけに依存するのではなく、利用するサービスの安全性を確認するとともに、入力や出力の検証、アクセス権限の制御、外部システムとの連携範囲の制限など、複数の対策を組み合わせることが重要です。

LLMを安全に利用するためのセキュリティ対策

LLMを利用したシステムのセキュリティ対策では、特定の機能や仕組みだけに頼るのではなく、入力するデータ、LLMに与える権限、生成された出力、外部システムとの連携などを含めて対策することが重要です。また、利用するLLMサービスの仕様やデータの取扱いを確認するとともに、システムの変更や新たな脅威に応じて、継続的に安全性を確認していく必要があります。

入力・参照データを適切に管理する

LLMに入力する情報や、RAGなどを通じて参照させるデータについて、利用目的に応じた管理が必要です。個人情報や機密情報などを扱う場合は、どの情報をLLMに渡す必要があるのかを整理し、不要な情報を入力・参照させないようにします。

また、外部から取得したWebページや文書などをLLMが参照する場合は、それらに悪意のある指示が含まれる可能性も考慮する必要があります。参照元を信頼できるものに限定するなど、LLMが処理するデータの範囲を適切に管理することが重要です。

LLMの出力を検証する

LLMが生成した内容を、そのまま安全なデータとして扱わないことも重要です。出力に誤った情報や不正なコード、想定していない指示などが含まれる可能性を考慮し、後続のシステムで利用する前に検証する仕組みを設けます。特に、LLMの出力をWebアプリケーションやデータベース、外部ツールなどへ渡す場合は、用途に応じた検証やサニタイズを行い、出力内容によって不正な処理が実行されないようにします。

アクセス権限を必要最小限にする

LLMやAIエージェントが利用できるデータや機能には、必要最小限の権限を設定します。例えば、情報を参照するだけでよい処理に更新・削除権限を与えない、特定の業務に必要なデータだけへアクセスできるようにするなど、LLMが侵害されたり意図しない動作をしたりした場合でも、影響範囲を限定できる設計が重要です。また、重要な操作についてはLLMだけで完結させず、人による確認や承認を組み込むことも検討します。

外部ツール・APIとの連携を制御する

LLMが外部ツールやAPIと連携すると、情報の検索や回答だけでなく、メールの送信、データの更新、システムの操作などを実行できる場合があります。こうした機能は利便性を高める一方、プロンプトインジェクションなどによって意図しない操作が実行された場合の影響も大きくなります。利用できるツールや操作を必要な範囲に限定し、重要な処理には承認を求めるなど、LLMが自律的に実行できる範囲を適切に制御することが重要です。

ログを取得し継続的に監視・評価する

LLMを利用したシステムでは、どのような入力が行われ、どのデータを参照し、どのような出力や外部操作が行われたのかを確認できるよう、必要なログを取得します。不審な入力や通常とは異なる操作を検知できる仕組みを整えるとともに、モデルやプロンプト、連携するツールなどを変更した際には、安全性への影響を改めて評価することが重要です。LLMを取り巻く技術や攻撃手法は変化しているため、一度の評価で終わらせず、システムの利用状況や変更に応じて継続的に見直していく必要があります。

ガードレール（緩和策）だけに依存しない

ガードレールとは、LLMが不適切な内容を生成したり、意図しない動作をしたりすることを抑えるために設ける安全上の仕組みです。入力や出力のフィルタリング、禁止する操作の設定など、さまざまな方法があります。ガードレールはLLMを安全に利用するための重要な対策の一つですが、プロンプトインジェクションやジェイルブレイクなど、制約を回避しようとする手法が存在することも考慮する必要があります。そのため、ガードレールだけでリスクを防ごうとするのではなく、入力・出力の検証、アクセス権限の制御、外部ツールとの連携制限、ログの監視などを組み合わせ、多層的に対策することが重要です。

技術的な対策に加えて、AIの利用ルールや管理体制を整備することも重要です。企業におけるAIガバナンスやAI利用ガイドラインの考え方については、「AIガバナンスとは？企業に必要な体制とAI利用ガイドラインの作り方」で詳しく解説しています。

まとめ

LLMを活用したサービスやシステムが広がる一方で、プロンプトインジェクションやジェイルブレイクなど、LLMの特性を悪用した脅威への対策も求められています。LLMセキュリティでは、モデルそのものの安全性だけでなく、入力・参照するデータ、生成された出力、アクセス権限、外部ツールとの連携など、システム全体を考慮することが重要です。また、利用するLLMサービスのデータの取扱いやセキュリティについても確認する必要があります。ガードレールなどの特定の対策だけに依存せず、権限管理や入出力の検証、監視などを組み合わせ、LLMやシステムの変更、新たな脅威に応じて継続的に安全性を見直していきましょう。

AIセキュリティについて詳しく知る

生成AI・LLMを安全に活用するためには、技術的な対策だけでなく、情報漏洩などの利用リスクや、組織としての管理体制も含めて考える必要があります。AIセキュリティの全体像と企業に求められる対策については、「AIセキュリティとは？生成AI時代に企業が知っておくべきリスクと対策」をご覧ください。

AIサービスの安全な活用に向けたセキュリティ対策を支援

BBSecでは、AIサービスを提供する企業・利用する企業に向けて、「AI事業者ガイドライン」に基づくサイバーセキュリティ対策支援サービスを提供しています。AIサービス提供者・利用者向けのセキュリティガイドライン整備支援や、AI利用に伴うセキュリティリスクを学ぶ情報セキュリティ教育など、お客様の立場や課題に応じた支援をご用意しています。

AIサービス提供者・利用者向けサイバーセキュリティ対策支援サービス