EvilTokensとは?Microsoft 365を狙うデバイスコードフィッシングとAI悪用

Share
EvilTokensとは?アイキャッチ画像

Microsoft 365の正規のサインイン画面を利用し、利用者に攻撃者側のアクセスを承認させる「デバイスコードフィッシング」が悪用されています。Microsoftが2026年9月に活動基盤を妨害した「EvilTokens」は、この手口によるアカウント侵害に加え、AIを使って侵害した受信箱を分析し、詐欺の標的やなりすまし相手を選ぶ機能も備えていました。本記事では、EvilTokensの仕組みと、Microsoft 365を利用する企業が確認しておきたい認証設定、監視、侵害後の対応について解説します。

EvilTokensとは

EvilTokensは、デバイスコードフィッシングによるアカウント侵害や、AIを使った侵害後の情報収集などを支援するPhishing-as-a-Service(PhaaS)プラットフォームです。Microsoftは2026年9月22日、同サービスの活動基盤を妨害したと発表しました。同社によると、世界の1万を超える組織で、1万2,000を超える受信箱が侵害されています。この数字はメール侵害の規模を示したものであり、金銭被害が発生した組織数を示すものではありません。

Microsoft 365を利用する企業が見直したいのは、認証画面のURLだけで安全を判断する運用です。EvilTokensは、利用者に正規のMicrosoftの画面で操作させ、攻撃者が開始した認証要求を承認させます。アカウントを守るには、MFAの導入に加え、自社で利用を認める認証方式や、侵害が疑われた場合の対応を確認する必要があります。

正規の認証画面でも侵害につながる理由

デバイスコード認証は、入力操作に制約のある機器などへサインインするための仕組みです。機器側に表示されたコードを、別の端末のブラウザーで入力して認証を完了します。デバイスコードフィッシングでは、この認証要求を攻撃者が開始し、コードを利用者に入力させます。問題は、コードにひも付く認証要求の主体です。画面自体がMicrosoftの正規サイトでも、そこで承認する要求が攻撃者によって開始されたものであれば、攻撃者側にアクセスが与えられます。偽サイトへパスワードを送信していなくても成立する手口です。利用者がMicrosoftにサインインしていない場合には、正規の画面でパスワードやMFAによる認証を求められることがあります。MFAを設定していても、利用者が攻撃者の要求を正規の認証画面で承認すると、侵害につながる場合があります。

図1:EvilTokensによるデバイスコードフィッシングと侵害後の流れ

出典:Microsoft「Disrupting EvilTokens: The AI Chatbot Built for Cybercrime」「Unmasking EvilTokens: Getting to the root of device code phishing」を基に弊社作成
※図は攻撃の概略を示したものです。AIによる分析後に、必ずなりすましや金銭被害が発生することを示すものではありません。

AIは受信箱から取引関係や送金担当者を探す

EvilTokensのAI機能は、侵害した受信箱を解析し、支払いに関する会話や組織内の役割、信頼関係などを把握するためにも使われていました。Microsoftは、詐欺の標的やなりすまし相手を選び、詐欺の進め方を提案する機能を報告しています。AIが、フィッシングメールの作成だけでなく、侵害した受信箱から詐欺に利用できる情報を探すためにも使われた事例です。このため、ビジネスメール詐欺対策では、振込先の変更や通常と異なる送金依頼について、信頼できる別の連絡経路で確認することが欠かせません。Microsoftも別経路での確認を推奨しています。実務では、受信メールに記載された連絡先をそのまま使わず、社内で管理している既知の連絡先で確認する運用が考えられます。

EvilTokensへの対策

図2:EvilTokensへの防御と対応

出典:Microsoft「Disrupting EvilTokens: The AI Chatbot Built for Cybercrime」、Microsoft Learn「Block authentication flows with Conditional Access policy」「Token theft playbook」「Respond to a compromised cloud email account」を基に弊社作成
※対策の分類は、Microsoftの公表資料を基に弊社が整理したものです。

不要なデバイスコード認証を制限する

予防策の出発点は、自社でデバイスコードフローを使っているかを把握することです。Microsoftは、利用状況を監査して必要性を判断し、可能な限り利用を遮断する方針を推奨しています。業務上必要な用途がある場合は、その理由と保護方法を明確にし、例外を限定します。Microsoft Entra IDの条件付きアクセスでは、認証フローを条件としてデバイスコードフローをブロックできます。変更時は、レポート専用モードで影響を確認してから有効化します。緊急アクセス用アカウントなど必要な除外を設計し、例外が増え続けないよう定期的に点検することも重要です。従業員向けの説明にも、この仕組みを反映することが重要です。「URLを確認する」に加え、「自分が開始していないサインインのコードは入力しない」と具体化すれば、何を判断すべきか伝わりやすくなります。これは、今回の認証手口を踏まえた教育上の対策の一例です。

認証後の不審な操作を監視する

監視では、サインインの成否だけで判断を終えないことが重要です。Microsoftのトークン窃取対応資料では、サインインログ、監査ログ、Officeの操作、関連端末の情報などを調べるよう案内しています。新しい認証方法や端末の登録、メール転送ルールの追加なども確認対象となります。これらの情報は、必要に応じてSIEMなどへ集約し、関連付けて確認できるようにします。たとえば、普段と異なるサインインと、その後の転送設定変更を、同じアカウントの時系列として調べる運用が考えられます。ただし、不審な出来事が一つあっただけでEvilTokensによる侵害と断定することはできません。利用者の操作や業務上の変更だったかを確認し、侵害の有無と範囲を絞り込む必要があります。

侵害が疑われるアカウントを封じ込める

アカウント侵害が疑われる場合、Microsoftは、侵害が疑われるアカウントを調査中は一時的に無効化することを推奨しています。あわせて、アクティブなセッションと更新トークンを失効させ、登録されたMFAの方法や端末、同意済みアプリ、管理者権限などを点検します。不正なメール転送設定や、通常の画面では見落としやすい受信箱ルールも確認対象です。パスワードを変更して利用者が再びログインできたことだけでは、攻撃者が残した設定まで除去できたとは限りません。どのアクセスを止め、どの変更を戻し、どのログで確認したかを記録し、公式手順に沿って復旧することが必要です。

送金や支払情報の変更は別経路で確認する

EvilTokensでは、侵害した受信箱から取引関係や支払いに関する情報が把握され、なりすましや送金詐欺に悪用される可能性があります。振込先の変更や送金依頼など、金銭に関わる重要な依頼については、メールだけで判断せず、既知の電話番号など信頼できる別の連絡手段で確認することが重要です。

EvilTokensへの対策は、認証管理だけでは完結しません。認証フローの制御、不審な操作を追跡できるログの整備、侵害時の対応、送金依頼の確認までを、自社の担当者と手順に落とし込むことが重要です。正規の認証画面を通った操作であっても、誰のアクセスを許可しようとしているのかを確認する視点が求められます。

【参考情報】

編集責任:木下


アカウント侵害や不正アクセスが疑われる場合は

BBSecでは、セキュリティインシデント発生時の初動対応から、原因・影響範囲の調査、フォレンジック調査、再発防止まで支援しています。

平時の対応体制を見直したい場合

ウェビナー開催のお知らせ

最新情報はこちら


Security NEWS TOPに戻る
バックナンバー TOPに戻る

ClosedQuorumとは AIが次の動作を選ぶマルウェアの仕組みと対策

Share
ClosedQuorumとはアイキャッチ画像

生成AIの活用が広がる中、サイバー攻撃でもAIを組み込んだ新たな手法が確認されています。2026年9月、Cisco Talosは、複数のAIモデルに問い合わせながら次の動作を選択するWindows向けマルウェア「ClosedQuorum」の解析結果を公表しました。本記事では、ClosedQuorumの仕組みと現時点で確認されている範囲を整理し、AIを組み込んだマルウェアに対して企業がどのような監視・対策を考えるべきか解説します。

ClosedQuorumとは

ClosedQuorumは、実行中に複数のAIモデルへ問い合わせ、その回答を基に次の動作を選択する仕組みを備えたWindows向けマルウェアです。 Cisco Talosが2026年9月22日に解析結果を公表しました。AIが侵入から目的達成までの全工程を自由に考案するわけではなく、あらかじめ実装された複数の動作から、次に実行するものを選択する設計です。ただし、Talosは報告時点で、ClosedQuorumが実際の攻撃に使用されたことを確認していません。公開配布版には仮のAPIキーなどが含まれており、一連の処理が最後まで動作する様子も観測されていません。本稿では、こうした現時点で確認されている範囲を踏まえ、解析で判明した仕組みと、一般的な防御策から考えられる監視のポイントを分けて説明します。

AIが実行中の判断に加わる仕組み

ClosedQuorumは最大4系統のAIモデルへ順番に問い合わせ、最多票を得た動作を選びます。応答を集計するのはマルウェア側のプログラムです。認証情報や暗号資産ウォレット情報の収集、別プロセスへのコード注入、継続実行のための設定といった実装済みの処理を選択する設計が確認されています。C2は、マルウェアへの指示や制御を指します。今回の特徴は、この動作選択に商用AIのAPIを利用する点にあります。AIが開発時にコード作成を手伝うことと、動作中のソフトウェアがAIの応答を処理に反映することは、区別して捉える必要があります。

図1:Talosの静的解析を基にした設計の概略

出典:Cisco Talos「The Closed Quorum: Inside the first reported autonomous AI C2 implant」(https://blog.talosintelligence.com/the-closed-quorum-inside-the-first-reported-autonomous-ai-c2-implant/)を基に弊社作成
※実際の攻撃での使用と、一連の処理が最後まで動作することは確認されていません。公開配布版には仮のAPIキーなどが含まれています。

AIの痕跡と攻撃の実態を分けて評価する

Talosが同日に紹介した研究ツールCAIRNは、AI向けの指示文やAPIの接続先などの情報を手掛かりに、AIを組み込んだマルウェアを調べるものです。同社は、AI関連の文字列などの痕跡だけでは、実際にはAIを組み込んでいない検体も候補に含まれるため、最終的な判断にはリバースエンジニアリングによる検証が必要だと説明しています。企業がAIマルウェアの情報を読む際も、「AIとの接点がある」「攻撃機能が実装されている」「実際に被害が発生した」という確認の段階を混同しないことが重要です。これはCAIRNの説明を踏まえた情報評価の観点です。検体の解析結果だけで、被害規模や攻撃の成功率まで判断することはできません。

ClosedQuorumを理由に、自律型サイバー攻撃がすでに広く成功していると結論づける根拠はありません。一方で、企業が点検できる項目はあります。以下では、MITRE ATT&CKが整理する既知の攻撃手法と防御策を基に、監視体制の確認方法を考えます。これはClosedQuorum固有の検知性能を保証するものではありません。

正規サービスへの通信は利用の文脈まで確認する

正規のWebサービスを攻撃の制御に使う手口は、MITRE ATT&CKでも整理されています。通信先が著名なサービスであることだけでは、安全性を判断できません。MITREは、通常と異なるプロセスからの外向き通信や、不自然な状況で行われるWeb API呼び出しを、検知の観点として挙げています。この考え方をAIサービスの通信に当てはめると、確認したいのは、どの端末で、どのプログラムが、何の業務のために通信したかです。承認済みアプリによる通常の利用と、用途不明の実行ファイルによる通信を切り分けられるよう、通信情報と端末上の処理を関連付けて確認することが重要です。

通信制御も業務上の必要性を踏まえて設計します。MITREは、許可されていない外部サービスの利用をWebプロキシで制限する対策を挙げています。自社で認めるサービスと利用経路を整理しておけば、不明な通信を調べる際の判断材料になります。

図2:MITRE ATT&CKの一般的な検知観点を基に作成した監視の例

出典:Cisco TalosおよびMITRE ATT&CK(T1102、T1003.001、T1053.005)を基に当社作成
※一般的な検知・監視の考え方を示したものであり、個別の兆候やAIサービスへの通信だけでClosedQuorumへの感染を判断するものではありません。

認証情報へのアクセスと継続実行の設定を監視する

端末側では、認証情報を扱う処理への不審なアクセスが重要な確認対象となります。MITRE ATT&CKは、Windowsの認証処理に関わるLSASSへの異常なアクセスと、その後のメモリダンプやファイル作成を、一連の動作として捉える検知方法を示しています。EDRなどで取得した記録を調べる際も、実行ファイルの名前だけでなく、実際に何へアクセスしたかを確認することが重要です。予防策としては、認証情報の保護、特権アカウントの利用制限、LSASSを保護する設定などが挙げられます。ただし、Credential Guardなどの保護機能にも適用条件と守備範囲があります。導入済みという理由だけで、すべての認証情報窃取を防げると判断しないことが必要です。

継続実行を狙う設定変更にも目を向ける必要があります。たとえば、Windowsのスケジュールタスクは正規の管理用途にも使われますが、攻撃者に悪用されることがあります。MITREは、不審なタスクの作成や変更と、その後の実行を関連付ける検知を示しています。管理作業として説明できるかを確認し、必要以上の権限で動くタスクや不明な実行先を調査することが重要です。

AIという名称より取得できる証拠を確認する

自社の監視体制を点検するなら、通信と端末の記録を結び付けられるかを確認するところから始めることが重要です。SOCや外部の監視担当者とも、不明な外向き通信が見つかったときに、その実行元や前後の処理まで調べられるかをすり合わせておきましょう。ClosedQuorumは、AIを動作選択に使う設計を具体的に示した解析事例です。現時点で確認されている事実を踏まえながら、既存のログ、認証情報の保護、権限管理を点検することが重要です。その積み重ねが、AIを組み込んだマルウェアについても、名称や印象に左右されず調査するための土台になります。

【参考情報】

編集責任:木下


継続的な監視・検知体制の見直しを

サイバー攻撃の手法が変化する中でも、不審な通信や端末上の挙動を継続的に監視し、複数の兆候を関連付けて確認できる体制が重要です。BBSecでは、セキュリティ監視・分析を支援する「G-MDR®」を提供しています。

ウェビナー開催のお知らせ

最新情報はこちら


Security NEWS TOPに戻る
バックナンバー TOPに戻る

AIエージェントを悪用したECサイト攻撃 ―カード情報窃取の報告から考える対策

Share
AIエージェントによるECサイト攻撃アイキャッチ画像

AIエージェントを悪用したECサイトへのサイバー攻撃について、Gambit Securityが2026年9月22日に調査結果を公表しました*1。同社は、2社から60万件を超えるカード記録が窃取されたと報告しています。同報告は暫定的な調査結果に基づくものですが、EC事業者が確認したいのは、自社の決済画面が不正に変更されていないか、攻撃の入口を放置していないかという具体的な問題です。

Gambit Securityが報告したAIエージェントの役割

Gambitは攻撃者のステージングサーバーを調べ、脆弱性調査を担うStrix、侵入目標に向けて動くCairn、攻撃全体を調整するHermesの利用を確認したと説明しています。人間も短い指示を出しており、完全な無人攻撃と表現するのは適切ではありません。同社によると、9月10日から15日に105件の攻撃プロジェクトが開始され、少なくとも27社で程度の異なる侵害が発生しました。これらは被害企業による一斉の公式発表ではなく、Gambitの調査結果です。報告には直接確認した証拠のほか、ログやAIの自己報告を組み合わせて評価した情報も含まれ、同社は一部に誤りや不正確さがあり得ると明記しています。

図1:報告されたAIエージェントの役割

出典:Gambit Security「Autonomous AI Agents are breaking into hundreds of Online Retailers for $25 a target in an ongoing campaign」(https://gambit.security/blog-posts/autonomous-ai-agents-online-retailers-25-a-company)をもとに弊社作成。
各ツールの主な役割を簡略化したものであり、すべての対象で同じ順序・攻撃経路が用いられたことを示すものではありません。

カードスキマーは決済画面に何を仕込むのか

今回の調査では、カード情報を盗む不正スクリプトの設置も報告されています。ただし、60万件超というカード記録のすべてが、この仕組みだけで窃取されたという意味ではありません。[1]Web上のカードスキマーとは、決済時に入力されるカード情報などを盗み取るための不正なプログラムを指します。こうしたeスキミングでは、決済ページに不正なスクリプトが組み込まれ、利用者のブラウザー上で入力されたカード情報などが窃取されることがあります。

PCI Security Standards Council(PCI SSC)も、決済ページのスクリプト管理と改ざんの監視を重要な対策として説明しています*2。サイト担当者が決済画面の見た目だけを確認しても、読み込まれるスクリプトの正当性までは判断できません。運用上は、画面の表示確認とは別に、どのスクリプトを、どの目的で、誰の承認に基づいて動かしているのかを把握する必要があります。

図2: Webスキミングの基本的な仕組みと確認箇所

出典:PCI Security Standards Council「Payment Page Security and Preventing E-Skimming」(https://blog.pcisecuritystandards.org/new-information-supplement-payment-page-security-and-preventing-e-skimming)をもとに弊社作成。
一般的なeスキミングの仕組みを簡略化した模式図であり、今回報告されたすべての被害経路を示すものではありません。

決済ページのスクリプトと変更履歴を確認する

PCI SSCの解説は、PCI DSSの要件6.4.3と11.6.1について、決済ページのスクリプトの承認、完全性の確認、改ざん監視に焦点を当てています。スクリプトだけでなく、セキュリティに影響するHTTPヘッダーの変更も確認対象となります。個別の適用範囲や検証責任は、決済構成や契約関係を踏まえてアクワイアラーなどに確認する必要があります。

実務に落とし込むなら、最初に決済ページに関係する変更を誰が把握しているかを確認したいところです。EC担当者、開発会社、決済サービスの担当者が、それぞれ自分の管理部分だけを見ていると、全体の説明ができなくなります。自社で変更できる箇所と、委託先へ確認すべき箇所を整理しておくことが出発点となります。例えば、解析タグの追加を依頼する際に、設置目的と承認者、対象ページを記録します。改ざん検知の通知を受けたら、その時間帯に予定された更新があったかを照合します。通常の変更と不審な変更を確認するための情報を、日常の更新作業から残しておくことが重要です。

侵入経路を調べる診断と改ざんを見つける監視

ECサイトの不正アクセス対策を考える際は、「攻撃が入り込む問題はないか」と「すでに不正な変更が起きていないか」を別々に確認する必要があります。脆弱性診断は主に前者、改ざん検知は主に後者を確認するための取り組みです。片方を実施したというだけで、もう片方の確認が済んだことにはなりません。

診断の対象を相談するときは、商品ページのURLだけを渡すのではなく、ログインや管理機能、APIなど、サイトの機能構成を共有することが重要です。BBSecのSQAT® for Webでは、入出力処理、認証、セッション管理などを診断対象として示し、検出した問題の深刻度と推奨対策を報告しています。監視を導入する際も、通知の受信先を設定するだけで終えず、誰が内容を確認し、誰が開発会社へ連絡するかを決めておく必要があります。営業時間外に通知された場合の連絡先や、決済機能の停止を判断する責任者を定めておけば、発見後の対応を具体化できます。これは今回の個別被害を推測したものではなく、ECサイト運営で準備しておきたい対応体制です。

BBSecの改ざん検知で日々のサイト変更を監視する

BBSecの「Webサイトコンテンツ改ざん検知」は、Webサイトの不正な変更やマルウェアの埋め込みを確認するサービスです。クローリング型のCracker Probing-Eyes® Detectが、設定したURLを起点に定期的にサイトを検査します。またWebサーバーにエージェントを導入するCracker Probing-Eyes® Detect Plusは、ファイルの改変をリアルタイムで監視する方式です。導入を検討する際は、自社の決済ページがどのサーバーから配信され、どこにスクリプトが置かれているかを共有し、監視したい範囲に合う方式を相談することが重要です。

ただし導入しただけですべてのカードスキマーを検知できる、あるいはPCI DSSの関連要件への適合が確定すると判断することはできません。対象環境と監視範囲を確認して設計する必要があります。管理画面のアクセス制御など、基本対策の実施状況から整理したい場合には、「EC加盟店様向け セキュリティ・チェックリスト対応アセスメント」も選択肢となります。対応状況の確認と報告に加え、是正支援を含むコースでは、開発ベンダーとの打ち合わせへの同席などを提供しています。

異常を見つけた後の対応まで準備しておく

不審なスクリプトや予期しないファイル変更が見つかったときは、対象ページ、発見時刻、検知内容を整理し、調査担当者に引き継ぎます。BBSecのデジタルフォレンジックを含む緊急対応支援では、状況把握や証拠保全、原因調査、今後の対応方針について相談できます。

自社サイトを守るために、まずAI攻撃かどうかを判定する必要はありません。公開中の機能に弱点を残していないか、決済ページの変更を把握できているか、異常発見時に動けるかを確かめることが重要です。今回の報告を、自社のECサイトの診断範囲と監視体制を見直す機会にしてはいかがでしょうか。

【参考情報】

編集責任:木下


サイバーインシデント緊急対応

サイバーセキュリティ緊急対応電話受付ボタン
SQAT緊急対応バナー

ウェビナー開催のお知らせ

最新情報はこちら


Security NEWS TOPに戻る
バックナンバー TOPに戻る

2026年の国内ランサムウェア被害をCisco Talosが調査 ―バックアップまで狙う攻撃への対策

Share
2026年の国内ランサムウェア被害アイキャッチ画像

ランサムウェア対策では、業務データだけでなく、復旧に必要なバックアップや、その管理権限を守ることも重要です。Cisco Talosは2026年9月17日、日本国内のランサムウェア被害動向と攻撃基盤に関する調査結果を公表しました*3。本記事では、この調査から分かったことを整理し、企業が見直しておきたい監視、アクセス管理、復旧への備えについて解説します。

Talosが把握した国内ランサムウェア被害は90件

図1:日本のランサムウェア被害件数の比較

出典:Cisco Talos「Ransomware incidents in Japan in the first half of 2026」(https://blog.talosintelligence.com/ransomware-incidents-in-japan-in-the-first-half-of-2026/)を基に弊社作成
※日本全体の被害総数ではありません。

Talosが調査で把握した日本のランサムウェア被害は、2026年1~7月に90件でした。前年の同じ期間の86件から4件(約4.7%)増加となります。この90件はTalosが把握した範囲の数値で、日本全体の被害総数を示すものではありません。業種別では製造業が34%を占めました。また、資本金が分かる組織のうち、10億円未満の組織は78%でした*2。

同調査は企業規模を見る参考にはなりますが、資本金だけで中小企業に該当するかを判断することはできません。被害件数の大小だけで自社の安全性を測らず、守るべき業務やデータに照らして対策を点検しましょう。

The Gentlemenの調査で見えたバックアップへの接近

今回、国内で最も多く観測されたグループはThe Gentlemenの14件で、QilinとSafePayが各7件で続きました。TalosはThe Gentlemenに関連するとみられる攻撃者の基盤を調べ、バックアップ内のWindowsファイルシステムを参照し、認証情報やパスワードハッシュを抽出したほか、バックアップデータを外部のクラウドストレージへ転送した痕跡を報告しています。攻撃の流れは操作履歴などから再構成したものであり、すべての被害組織で同じ経路の攻撃が成功したと確認されたわけではありません。

バックアップは、情報の保管先としても点検対象になります。復旧用のコピーに重要な情報が含まれているなら、そのコピーを誰が読めるのか、誰が削除できるのかまで確かめる必要があります。英国NCSCも、バックアップの管理に使うアカウントやアクセス経路の保護、多要素認証の利用を推奨しています*3。取得の成否だけでなく、保存先へのアクセスを制御できているかが確認の要点です。

QilinのAI利用はどこまで分かったのか

Talosがランサムウェア「Qilin」による攻撃を受けた環境を調査したところ、Qilinが使用していたオープンディレクトリから見つかったPythonスクリプトに、AIによる生成を示唆する特徴が確認されました。Talosは、その確度を中~高程度と評価しています。確認されたスクリプトには、Veeamバックアップを停止・無効化・破壊する機能を持つものも含まれていました。ただし、AIが攻撃全体を自律的に実行したと証明されたわけではありません。AI利用に関する評価と、スクリプトが備える機能は分けて読む必要があります。

企業の対策として点検したいのは、強い権限を持つアカウントで、どの操作まで実行できるかです。管理者権限の付与範囲を絞り、操作を記録し、不審な動きに対応する体制を整えましょう。こうした基本対策は、攻撃用コードの作成方法にかかわらず必要になります。AIという話題だけに対策を寄せず、自社で管理できる権限と監視の範囲を確認しましょう。

【関連記事】
Cisco Secure Firewall Management Center(FMC)の脆弱性を悪用し、侵入後にQilinランサムウェアが展開された事例も確認されています。実際の攻撃で確認された活動や、対象製品の確認、修正版へのアップグレードと侵害調査のポイントについて解説しています。
「Cisco FMCの脆弱性が実悪用―Qilinランサムウェアへの悪用事例と対策」

企業が見直したいランサムウェア対策

ここからは、警察庁と英国NCSCの対策情報をもとに、自社で確認する際の観点を整理します。

図2:侵入の防止から被害調査までの対策範囲

参考:警察庁「ランサムウェア被害防止対策」(https://www.npa.go.jp/bureau/cyber/countermeasures/ransom.html)、National Cyber Security Centre (NCSC)「Mitigating malware and ransomware attacks」(https://www.ncsc.gov.uk/guidance/mitigating-malware-and-ransomware-attacks)を基に弊社作成
※ランサムウェア対策として、公開機器・リモート接続、端末・管理アカウント、重要サーバー・バックアップを保護し、インシデント発生時には証拠保全、影響調査、復旧判断を行う流れを示した模式図。
※一般的な対策の位置関係を示しており、今回の調査で確認された攻撃をそのまま再現した図ではありません。

公開機器とリモート接続の管理を確かめる

VPNなど外部から接続する機器は、使用製品とバージョン、更新を担当する部署を把握し、修正プログラムを適用できる状態にしておきましょう。認証には多要素認証を組み合わせ、接続元やアクセス先も必要な範囲に制限します。警察庁は、脆弱性への対応に加えて認証情報の管理と権限の最小化を案内しています。担当者が確認する際は、設定の有無とあわせて、例外として残された接続がないかも点検しましょう。

端末と認証のログをつなぎ 初動対応を決める

侵入後の横展開とは、攻撃者が侵害した端末などを足掛かりに、別のシステムへアクセスを広げることです。その調査や検知には、端末内の活動だけでなく、認証やネットワーク通信の記録も役立ちます。NCSCは、端末、サービス、ネットワーク機器など複数の情報源を組み合わせた監視を勧めています*4。

運用の点検では、不審なログインが見つかった際に、その前後の端末操作や外部通信を調べられるかを確認します。さらに、夜間に通知を受け取る担当者や、アカウント停止・端末隔離を判断する担当者を決めておきましょう。セキュリティ製品を導入するだけでなく、異常を検知した際に実際の調査や対応へ移れる体制になっているかを確認することが重要です。

バックアップを保護し復元できることを試す

バックアップは、業務環境が侵害されても一緒に失われないよう保管する必要があります。NCSCは、ネットワークから分離したバックアップ、復元手順の定期的な確認、バックアップ製品の更新に加え、インシデントを想定した対応計画の策定や訓練を推奨しています*5。クラウドに保存する場合も、過去の世代を直ちに削除されない仕組みがあるかを確認しましょう。復旧の準備では、どの業務を先に再開するかを決め、そのために必要なシステムを実際に戻せるか試します。バックアップ取得の記録が残っていても、担当者が復元手順を実行できるとは限りません。社内システムが使えない状況でも、連絡先や手順書を参照できるようにしておきましょう。

自社の課題に合わせてBBSecの支援を活用する

監視の通知を受け取った後の分析や対応を自社だけで担いきれない場合は、BBSecの「G-MDR®」が選択肢になります。各種セキュリティ対策を統合的に監視・相関分析し、脅威の検知から遮断・封じ込め、被害調査、対応支援を24時間365日体制で提供するサービスです。相談に当たっては、自社で収集できるログや管理対象を整理し、必要な対応範囲を確認するとよいでしょう。復旧計画を見直したい企業には、「ランサムウェアに対応したIT-BCP策定支援」があります。現状の対策状況を調査し、復旧の優先度や目標とする対策レベル、システム・ネットワークと運用の要件、改善計画の策定を支援します。復旧の優先順位と事業再開に向けた要件を具体化したい場合に、検討できるサービスです。

すでに不正アクセスが発生している、または侵害が疑われる場合には、まず侵入経路や影響範囲、情報漏えいの有無などを確認する必要があります。BBSecでは「緊急対応支援」を通じて、初動対応やデジタルフォレンジック、原因・影響範囲の調査、復旧に向けた対応などを支援しています。

また、情報が外部に持ち出された可能性がある場合には、「サイバー脅威情報調査」を組み合わせることで、ダークWeb上で自社に関連する情報が公開されていないかを調査できます。社内のログや端末などを対象とした調査とは目的が異なるため、必要に応じて組み合わせることで、内部の侵害状況と外部への情報流出の両面から確認できます。なお、ダークWeb上で情報が確認されなかったことだけをもって、情報漏えいがなかったと判断することはできません。情報漏えいの懸念がある場合、監視や復旧の備えについても、自社で対応に不安が残る箇所を整理したうえでBBSecへご相談ください。

【参考情報】

編集責任:木下


ランサムウェア対策やインシデント対応についてご相談ください

ランサムウェア対策は、侵入を防ぐだけでなく、監視や初動対応、バックアップからの復旧まで含めて備えることが重要です。自社の対策状況や対応体制に不安がある場合は、ブロードバンドセキュリティ(BBSec)へご相談ください。

お問い合わせページリンクボタン

ウェビナー開催のお知らせ

最新情報はこちら


Security NEWS TOPに戻る
バックナンバー TOPに戻る

盗まれたトークンから約3時間でクラウド管理権限へ ―AnthropicのAI悪用報告から考える企業の対策

Share
AnthropicのAI悪用報告から考える企業の対策アイキャッチ画像

生成AIの活用が広がる一方で、サイバー攻撃にAIを悪用する動きも確認されています。Anthropicが2026年9月10日に公表したAI悪用の調査報告には、盗まれた開発者トークンを足掛かりに、攻撃者が被害組織のクラウド環境の完全な管理権限を約3時間で取得した事例が記されています。AIサイバー攻撃への備えを考えるうえで、この事例は、認証情報の保護と、検知後に動ける体制を点検する材料となります。

AnthropicのAI悪用報告で何が確認されたのか

今回の報告では、2025年12月から2026年8月にかけてAnthropicが検知・対処したAI悪用活動が取り上げられています。サイバー攻撃におけるAIの使われ方には幅があり、攻撃者の補助として利用された例に加え、偵察、侵入、認証情報の収集、情報窃取などをAIに実行させる例や、複数の標的に対してAIエージェントが並行して処理する例も確認されています。一方、標的の選定や攻撃結果の確認、収益化などの重要な判断には、人間が引き続き関与していたとされています。

報告には、認証情報の悪用に関する事例も複数示されています。被害組織の環境から盗んだAIサービスのAPIキーを別の攻撃に利用した例に加え、盗まれた開発者トークンを足掛かりに、被害組織のクラウド環境の完全な管理権限を約3時間で取得した事例も報告されています。認証情報は情報を盗む入口となるだけでなく、攻撃に用いるAIの計算資源へのアクセスにも利用されていました。*6

なお、約3時間という数値は、Anthropicが観測した個別の侵害事例に関するものです。すべてのAIを使った攻撃が同じ速さで進むことや、従来の攻撃より何倍速いかを示す統計ではありません。この事例から企業が考えるべきなのは、約3時間という時間そのものではなく、認証情報が悪用された場合に、異常を検知し、調査やアクセス制限などの対応へ移るまでにどの程度の時間を要するかという点です。

図1:AI悪用による侵入の個別事例

開発者トークンから管理権限取得までの個別事例
開発者トークンから管理権限取得までの個別事例
出典:Anthropic「Detecting and countering misuse of AI: September 2026」(https://www.anthropic.com/threat-intelligence-report-september-2026)を基に作成

認証情報漏洩への対策は、トークンの権限まで確認する

認証情報の管理を見直すときは、人がログインに使うパスワードに加え、アプリケーションや開発環境が使うアクセスキー、トークンも対象にします。ここからは、クラウド環境で取り組める対策をAWSの公式資料を例に整理します。前述の被害事例のクラウド事業者をAWSと特定するものではありません。

AWSはIAMの推奨事項として、一時的な認証情報の利用、多要素認証(MFA)、業務に必要な範囲に絞った権限付与、使われていない認証情報や権限の定期的な見直しを挙げています*2。システムが継続的に使う認証情報についても、長期のアクセスキーを配布する構成から、IAMロールによる一時的な認証情報へ移行できるかを検討します。自社で点検する際は、認証情報を誰が管理し、どのシステムが使い、どのデータにアクセスできるのかを確認し、用途が終わったテスト用の権限や、担当者の異動後も残る認証情報などを整理します。認証情報の保護とあわせて、必要以上の権限を与えないことが重要です。

クラウドのログは、データへの操作まで記録されているか

クラウド監視では、「ログを取得している」だけでなく、実際にどの操作まで記録されているかを確認する必要があります。例えばAWS CloudTrailでは、Amazon S3上のオブジェクトの読み取りなどはデータイベントに分類され、証跡やイベントデータストアでは初期設定で記録されないため、取得には設定と追加料金が必要です*3。自社の重要データについて、調査時に確認したい操作が記録に残るかを点検し、顧客データを保管する領域であれば、誰が、いつ、どのデータへアクセスしたかを追える設定になっているかを確認します。大量のログを一律に増やすのではなく、守るべきデータと必要な調査項目を先に決めると、取得範囲や費用も検討しやすくなります。

また、アクセスがあったという事実だけで、不正利用とは断定できません。AWSのGuardDutyの対応ガイドも、検知に関係するユーザーやロール、API操作を特定し、操作時刻や接続元IPアドレスを含めて正当な利用か確認するよう案内しています*4。担当者がこれらを照合できる情報と連絡先を持つことが、アラートを判断につなげる前提になります。

検知後は、どの認証情報の利用を止めるか判断する

認証情報の不正利用が疑われる場面では、影響するユーザーやロールと、その権限を特定する必要があります。API操作の内容を見れば、正常な処理との違いや調査すべき範囲を検討できます。確認の結果、正当な利用と判断できない場合は、該当するクラウドサービスの手順に沿って封じ込めを進めます。

ここで注意したいのが、すでに発行された一時的な認証情報の扱いです。AWSは、不正利用を止める手段として、一時的な認証情報に付与される権限の変更や、IAMロールの既存セッションの取り消し方法を説明しています*5。対象のロールを利用する正常なユーザーにも影響する場合があり、どの利用を止めるかを区別することが必要です。

緊急時の手順には、実行する操作だけでなく、その操作で停止する業務と、判断を行う担当者も記載しておきます。「認証情報を無効にする」とだけ書かれた手順を、自社のアカウントやサービスに当てはめて確認する作業です。担当部門が異なる場合も、現場で判断できる範囲をあらかじめ合意しておくことが、連絡待ちを減らすための実務的な準備になります。

図2:認証情報の悪用に備える監視と初動対応

出典:AWS「Remediating potentially compromised AWS credentials」(https://docs.aws.amazon.com/guardduty/latest/ug/compromised-creds.html)「Disabling permissions for temporary security credentials」(https://docs.aws.amazon.com/IAM/latest/UserGuide/id_credentials_temp_control-access_disable-perms.html)「SEC10-BP07 Run simulations」(https://docs.aws.amazon.com/wellarchitected/latest/framework/sec_incident_response_run_game_days.html)を基に弊社作成

「対応できるはず」を訓練で確かめる

検知から対応までの時間を短くしたいなら、まず自社の手順を一度動かして確かめることです。AWSのWell-Architected Frameworkでは、インシデント対応能力を評価する方法として演習を挙げ、机上演習では関係者の役割や責任、連絡手段、手順書を確認できると説明しています。*6

例えば「夜間に、通常と異なる認証情報の利用が通知された」という場面を設定し、担当者に連絡が届くか、正当な作業かを確認できるか、アクセス制限を誰が判断するかを話し合います。これは本稿で提案する訓練の例です。連絡先の更新漏れや判断権限の曖昧さが見つかれば、実際のインシデントが起こる前に修正できます。

演習では、通知を確認した時点、調査を始めた時点、対応を決めた時点を分けて記録すると、改善すべき箇所を具体化できます。約3時間という他社事例をそのまま自社の目標時間にするのではなく、自社の重要業務と運用体制に即して、対応を遅らせる要因を取り除くことが大切です。


監視からインシデント対応まで、セキュリティ体制を見直したい企業へ

こうした体制を自社だけで維持することが難しい場合は、監視や分析、対応を専門家と分担する方法があります。ブロードバンドセキュリティ(BBSec)の「G-MDR®」では、セキュリティ対策を統合的に監視・相関分析し、専門エンジニアが24時間365日体制で監視・運用を支援します。アラートの検知だけでなく、その後の調査や対応を含めたセキュリティ体制についてもご相談いただけます。

※外部サイトにリンクします。

セキュリティ対策について相談する

「アラートは検知できても、その後の調査や対応に不安がある」「24時間365日の監視体制を整えたい」といった課題がある場合は、BBSecまでお気軽にご相談ください。

導入を検討する際は、自社のクラウド環境や既存製品から連携できるログ、検知後に実行する対応、社内の承認が必要な操作を具体的に相談するとよいでしょう。すべてのクラウドサービスや復旧作業が無条件に対象になると考えず、自社に必要な監視範囲と対応範囲を確認することが大切です。


【参考情報】

編集責任:木下


ウェビナー開催のお知らせ

最新情報はこちら


Security NEWS TOPに戻る
バックナンバー TOPに戻る

AIガバナンスとは?企業に必要な体制とAI利用ガイドラインの作り方

Share
AIガバナンスとは?アイキャッチ画像

生成AIの業務利用が広がるなか、企業にはAIを使うかどうかだけでなく、どのAIを、どの業務で、どのような条件で利用するかを組織として管理することが求められています。情報漏洩や誤情報、著作権などのリスクに加え、従業員が会社の承認を得ずにAIサービスを利用する「シャドーAI」への対応も必要です。本記事では、AIガバナンスとは何か、国内外のルールやガイドラインの動向を踏まえながら、企業に必要な体制やAI利用ガイドラインの作り方について紹介します。

AIを取り巻くリスクや、企業に求められるセキュリティ対策の全体像については、「AIセキュリティとは?生成AI時代に企業が知っておくべきリスクと対策」で詳しく紹介しています。

AIガバナンスとは

AIガバナンスとは、企業や組織がAIを適切に利用するために、方針や責任体制、ルールを定め、AIに伴うリスクを継続的に管理していく仕組みです。生成AIの利用では、入力した機密情報や個人情報の取り扱い、生成された情報の正確性、著作権・知的財産権、利用するAIサービスの安全性など、さまざまな点を考慮する必要があります。そのため、生成AIに個人情報を入力しない、といった利用上の注意事項を定めるだけでは十分とはいえません。

誰がAIの利用を管理するのか、どのようなAIサービスを利用できるのか、問題が発生した場合に誰へ報告するのか、利用するAIやリスクの変化に応じてルールをどのように見直すのか、といった運用まで含めて考える必要があります。AI利用ガイドラインは、こうしたAIガバナンスを実際の業務へ落とし込むための手段の一つといえます。

なぜ企業にAIガバナンスが必要なのか

生成AIは、文章作成や要約、翻訳、情報収集、プログラミング支援など、さまざまな業務で利用できるようになりました。一方、利用が容易であるからこそ、企業が把握しないまま従業員がAIサービスを業務に利用することも考えられます。例えば、従業員が個人で登録した生成AIサービスに顧客から届いたメールを入力して返信文を作成したり、社内資料やソースコードを入力して要約や分析を行ったりするケースです。企業が利用実態を把握できていなければ、どのサービスに、どのような情報が入力されているのかを管理できません。

国内でも、個人情報保護委員会やデジタル庁などが、生成AIの業務利用における個人情報や機密情報の取り扱いについて注意を促してきました。また、独立行政法人情報処理推進機構(IPA)が2026年7月に公開した「生成AIおよびAIエージェントを安全に活用するための手引書」では、全社AIガバナンスとして、AIガバナンス体制の整備、利活用ガイドラインの策定、シャドーAIへの対応方針などが整理されています。生成AIを一律に禁止するだけではなく、生成AIの利用実態を把握し、リスクに応じて適切に管理できる仕組みを整えることが重要です。

生成AIの情報漏洩や誤情報、著作権、サイバー攻撃への悪用などのリスクについては、「生成AIのリスクとは?企業が注意すべき情報漏洩・誤情報とサイバー攻撃への悪用」で詳しく紹介しています。

AIガバナンスを取り巻く国内外のルールとガイドライン

AIの急速な普及を受け、国内外ではAIを安全かつ適切に利用するためのルールやガイドラインの整備が進められています。日本では、経済産業省と総務省が2024年に「AI事業者ガイドライン」を策定しました。その後もAIを取り巻く環境の変化に応じて改定が続けられ、2026年3月には第1.2版が取りまとめられています。AI事業者ガイドラインでは、AIに関係する事業者をAI開発者、AI提供者、AI利用者に整理し、それぞれが取り組むべき事項などが示されています。

政府においてもAI利用のルール整備が進んでいます。デジタル庁は2026年6月、「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」を第2.0版へ改定しました。同ガイドラインでは、政府における生成AIのガバナンスや、各府省庁が生成AIを調達・利用する際のルールなどが示されています。

個人情報の取り扱いについても注意が必要です。個人情報保護委員会からは2023年6月に「生成AIサービスの利用に関する注意喚起等」で一部事業者に対する要配慮個人情報の取得及び利用目的の通知などについての注意喚起が行われています。全般の注意喚起では個人情報取扱事業者、行政機関、一般利用者それぞれに向けた注意点が記載されています。

生成AIサービスを利用する場合には、利用規約やプライバシーポリシーを確認し、入力する情報がどのように取り扱われるのかを把握したうえで利用を判断することが重要です。

AIサービスの契約条件も確認する

AIサービスを導入する際には、社内ルールだけでなく、利用するサービスの契約条件やセキュリティについて確認することも重要です。経済産業省が公開している「生成AIサービスの利用・開発に関する契約チェックリスト」では、AIサービスの利用や開発にあたり、インプット・アウトプットの取り扱いや権利関係、責任分担などを確認するための観点が整理されています。

生成AIサービスの利用・開発に関する契約チェックリスト(チェッリストの対象となる条項)
チェックリストの対象となる条項
出典:経済産業省「AIの利用・開発に関する契約チェックリスト」p.11より抜粋

セキュリティに関してはチェックリスト内に、以下の観点でのチェック項目が設けられています。

  • 対象システム(AIサービス)のセキュリティ水準
  • 監査条項等
  • ログの保存
  • 規約改定に関する留意点

AIサービスを選定する際には、機能や価格だけでなく、入力した情報がどのように扱われるのか、ログが保存されるのか、契約条件が変更された場合にどのような影響があるのか、といった点も確認する必要があります。

海外でもAIに関する制度整備が進む

海外でもAIの安全性や信頼性を確保するための制度整備が進められています。代表的なものが2024年に施行されたEUのAI全般をリスクベースで管理するためのAI法(『EU AI Act: first regulation on artificial intelligence』)です。AI法では、AIシステムをリスクに応じて分類し、許容できないリスクを持つAIを禁止するとともに、高リスクAIにはリスク管理や記録、人による監督などの要件を設けています。

また、汎用目的AI(General-purpose AI(GPAI))についても、そのリスクや役割に応じた義務が設けられています。

日本企業であっても、EU域内でAIシステムを提供したり利用したりする場合などには適用対象となる可能性があります。海外で事業を展開する企業では、自社のAI利用に関係する国や地域の制度についても確認する必要があります。

さらにEU以外でも、韓国をはじめ各国でAIの安全性や信頼性を確保するための制度・体制整備(韓国:AI基本法等)が進んでいます。

こうした動きを踏まえると、AIガバナンスは一度ルールを作れば完了するものではありません。AI技術やサービス、国内外のルールの変化に応じて、自社の管理体制も継続的に見直していく必要があります。

AIガバナンスで企業が整えるべき体制

AIガバナンスを実際に機能させるためには、AI利用に関する役割と責任を明確にする必要があります。例えば、経営層がAI活用に関する基本方針や許容するリスクを示し、情報システム・セキュリティ部門が利用するAIサービスの安全性や情報管理を確認します。法務・コンプライアンス部門は、個人情報や著作権、契約などの観点から利用条件を確認し、各事業部門は定められたルールに基づいてAIを利用します。

重要なのは、必ずしも「AIガバナンス委員会」のような新しい組織を設置することではありません。企業の規模やAIの利用状況によっては、既存の情報セキュリティ委員会やリスク管理、ITガバナンスなどの体制にAIの管理を組み込む方法も考えられます。一方で、AIに関する判断を情報システム部門だけに任せることも適切とは限りません。AIの利用にはセキュリティだけでなく、法務、知的財産、業務品質、倫理など複数の論点が関係するためです。「誰がAIを管理するのか」だけではなく、「どのような問題を、どの部門が判断するのか」まで整理しておくことが重要です。

AI利用ガイドラインには何を書くべきか

AIガバナンスの方針を従業員の具体的な行動へ落とし込むためには、AI利用ガイドラインを整備することが有効です。ガイドラインには、単に「機密情報を入力しない」と記載するだけではなく、実際の業務で従業員が判断できる内容を盛り込む必要があります。

項目定める内容の例
利用できるAI承認済みサービス、利用条件
利用目的認める業務・禁止する用途
入力情報個人情報、機密情報、顧客情報等の取り扱い
生成物ファクトチェック、著作権、外部公開時の確認
アカウント法人・個人アカウントの使い分け
外部サービスデータ保存、学習利用、ログ、契約条件
問題発生時報告先、対応フロー
見直し定期レビュー、サービス変更時の再評価

特に注意したいのが、利用禁止、とだけ定めて終わらせないことです。

例えば「機密情報を入力してはいけない」と規定していても、従業員が何を機密情報として扱うべきか判断できなければ、実際の業務では迷いが生じます。顧客から届いたメール、会議の議事録、契約書、ソースコード、未公開の製品情報など、具体的な利用場面を想定しながら、入力できる情報とできない情報を示すことが重要です。

また、生成物を業務で利用する際の確認方法も必要です。生成AIの出力には不正確な情報が含まれる可能性があるため、重要な判断や社外へ公開する情報については、人による確認や一次情報との照合を行うなどのルールを定めておくことが考えられます。

利用するAIサービス自体の確認も必要

AI利用ガイドラインを整備しても、利用するAIサービス自体の安全性やデータの取り扱いを確認していなければ、十分なリスク管理とはいえません。生成AIサービスによって、入力したデータの保存場所や保存期間、モデルの学習への利用、ログの管理、適用される法令などは異なります。そのため、AIサービスを導入する際には、少なくとも次のような点を確認することが重要です。

  • 入力したデータがどこに保存されるか
  • 入力データが学習やサービス改善に利用されるか
  • データやログの保存期間
  • 管理者が利用状況を確認できるか
  • セキュリティ対策や監査に関する条件
  • 利用規約やプライバシーポリシーの変更条件
  • どの国・地域の法令が適用されるか

AIサービスによってデータの保存場所や適用される法令などが異なるため、「有名なサービスだから」「便利だから」という理由だけで業務利用を判断するのではなく、企業としてサービスの特性を確認する必要があります。AIサービスの機能だけでなく、「企業の情報をどのように扱うサービスなのか」という観点から評価することが、AIガバナンスでは重要です。

AI利用ガイドラインを「作って終わり」にしないために

AI利用ガイドラインを策定しても、従業員に知られていなかったり、実際の業務とかけ離れたルールになっていたりすれば、十分に機能しません。会社がAI利用を全面的に禁止している一方で、現場では業務効率化のために個人アカウントの生成AIが利用されている、といった状況も考えられます。このようなシャドーAIが広がると、企業は誰がどのAIサービスを利用し、どのような情報を入力しているのか把握しにくくなります。そのため、ガイドラインの策定とあわせて、実際のAI利用状況を把握することが重要です。

また、会社が利用を認めるAIサービスを明確にし、従業員が安全に利用できる環境を提供することも有効です。ガイドライン策定後は、従業員への教育、利用状況の確認、例外的な利用が必要になった場合の申請方法、問題発生時の報告ルートなどを整備します。AIサービスは短期間で機能や利用条件が変化することがあります。また、AIエージェントのように、外部サービスやデータへアクセスし、一定の操作を実行できるAIの利用が広がれば、従来の生成AI利用とは異なるリスクも考慮する必要があります。AIガバナンスでは、ルールを作ること以上に、実際の利用状況を把握しながら継続的に見直すことが重要です。

AIやLLMを組み込んだシステムでは、プロンプトインジェクションをはじめ、生成AIの利用管理とは異なるセキュリティリスクにも注意が必要です。詳しくは、「LLMセキュリティとは?プロンプトインジェクションなどの脅威と対策」で紹介しています。

AIガバナンスはどこから始める?

AIガバナンスという言葉から、大規模な管理体制や複雑なルールを想像するかもしれません。しかし、最初からすべてを整備する必要はありません。まずは、自社でAIがどのように利用されているのかを把握することから始めます。

STEP1 自社のAI利用状況を把握する
どの部門が、どのAIサービスを、どのような業務に利用しているのか確認します。会社が正式に導入したAIだけでなく、従業員が個別に利用しているサービスについても把握することが重要です。

STEP2 利用するAIとリスクを整理する
入力する情報、生成物の用途、外部サービスへのデータ送信、AIに与える権限などを確認し、利用方法に応じたリスクを整理します。

STEP3 責任者・管理体制を決める
AI利用に関する方針を誰が決定し、セキュリティ、法務、業務上の問題をそれぞれ誰が判断するのかを明確にします。

STEP4 AI利用ガイドラインを策定する
利用できるAI、入力できる情報、生成物の確認方法、禁止する用途、問題発生時の報告方法などを具体化します。

STEP5 教育・確認・見直しを続ける
従業員へルールを周知するとともに、実際の利用状況を確認します。AIサービスや業務、脅威、法制度などの変化に応じてガイドラインを更新します。

AIガバナンスは完成させるものではなく、AIの利用とともに継続的に改善していく取り組みと考えることが重要です。

AIガバナンスに関するよくある質問

▼ AIガバナンスとAI利用ガイドラインの違いは?
▼ AI利用ガイドラインはどの部署が作るべきですか?
▼ 生成AIの利用を禁止すればAIガバナンスは不要ですか?

まとめ

生成AIをはじめとするAIの業務利用が広がるなか、企業にはAIを安全かつ適切に利用するためのガバナンスが求められています。AIガバナンスは、AI利用ガイドラインを作成することだけを意味するものではありません。AI利用に関する方針を定め、責任体制を明確にし、リスクを評価しながら、実際の利用状況に応じてルールや対策を継続的に見直していくことが重要です。

また、自社の利用ルールだけでなく、利用するAIサービスのデータの取り扱いや契約条件、セキュリティ、国内外の制度動向について確認することも必要です。まずは自社でどのようなAIが利用されているのかを把握し、利用目的や取り扱う情報、想定されるリスクを整理することが第一歩となります。そのうえで、自社の事業やAIの利用状況に合った体制とガイドラインを整備し、安全なAI活用につなげていくことが求められます。

【参考情報】

公開日:2025年4月9日
更新日:2026年9月16日

編集責任:木下


AIサービスの安全な活用に向けたセキュリティ対策を支援

ブロードバンドセキュリティ(BBSec)では、AIサービスを提供する企業・利用する企業に向けて、「AI事業者ガイドライン」に基づくサイバーセキュリティ対策支援サービスを提供しています。AIサービス提供者・利用者向けのセキュリティガイドライン整備支援や、AI利用に伴うセキュリティリスクを学ぶ情報セキュリティ教育など、お客様の立場や課題に応じた支援をご用意しています。


Security Serviceへのリンクバナー画像
BBsecコーポレートサイトへのリンクバナー画像
セキュリティ緊急対応のバナー画像

Security NEWS TOPに戻る
バックナンバー TOPに戻る

RIZAPの生成AIへの顧客情報誤アップロードから考える ―企業が見直すべきシャドーAI対策

Share
RIZAPの生成AIへの顧客情報誤アップロードアイキャッチ画像

生成AIの業務利用が広がる一方、会社が把握・承認していないAIサービスを従業員が利用する「シャドーAI」は、情報漏洩につながるリスクの一つです。本記事では、RIZAPが公表した事案をもとに、生成AIへ情報を送信する際の注意点と、企業が見直すべきシャドーAI対策について解説します。

※本記事は2026年9月14日時点で公表されている情報に基づき作成しています。

RIZAPの生成AIへの誤送信で何が起きたのか

2026年9月3日、RIZAPは、社員が私用の外部生成AIサービスに顧客情報を誤ってアップロードしたと公表しました。[1]今回の事案は、RIZAPの社員が特定保健指導管理システムのデータを集計する際、顧客情報を外部の生成AIサービスに誤ってアップロードしたものです。対象は、同システムに2026年1月1日から8月19日までに登録された対象者データの一部で、氏名や保険証記号番号のほか、疾患情報などの要配慮個人情報も含まれます。同社の発表では、対象者数および利用された生成AIサービスの名称は公表されていません。またAI事業者以外の第三者による閲覧と学習利用の可能性はないと説明する一方、事業者の役職員等が閲覧可能だったかは確認中としています。外部生成AIへの情報送信では、閲覧の可能性と学習への利用は別の論点です。

図1:RIZAPの公表内容
※「学習されない」という説明だけで、外部送信の適否は判断できません。

出典:RIZAP株式会社「当社における外部生成AIサービスへのお客様情報の誤ったアップロードに関するお詫びとお知らせ」(2026年9月3日)(https://business.rizap.jp/news/2492)を基に作成

「学習されない」だけで生成AIへの入力を判断しない

外部の生成AIサービスにファイルをアップロードすると、まず、そのサービスへ情報を送信することになります。その後にどのように保存・処理され、誰がアクセスでき、学習に利用されるかは、契約や設定、サービスの仕様によって確認する論点です。一つの設定を見ただけで、情報の取り扱い全体を判断することはできません。

個人情報保護委員会は、生成AIに個人情報を含むプロンプトを入力する際、特定した利用目的の達成に必要な範囲かを確認するよう注意喚起しています。また、本人の同意なく入力した個人データが応答の出力以外の目的で扱われる場合には、法に違反する可能性があるとして、機械学習に利用しないこと等の十分な確認を求めています。[2]企業が確認すべきなのは、「学習をオフにしたか」に加えて、「この業務に、この情報を外部へ送る必要があるか」です。たとえば、集計式を知りたいだけなら実在する顧客のデータを渡さず、架空のサンプルで処理方法を相談できる場合があります。また、実データの処理が必要な場合は事前に承認された環境と手順で取り扱う業務プロセスを設計します。

シャドーAIとは? 私用アカウントと業務利用の境界

本記事で述べている「シャドーAI」とは、会社が把握・承認していないAIサービスを、従業員が業務に利用することです。たとえば、会社が承認していない個人アカウントで、会社の資料を要約したり、業務ファイルを分析したりする利用が該当します。同じサービス名でも、会社が契約・管理する環境と、従業員の私用アカウントでは、管理できる範囲や適用される条件が同じとは限りません。そのため、社内ガイドラインに「生成AIの利用可」とだけ記載しても、判断基準としては不足します。対象のサービスと契約プラン、使用するアカウント、許可する業務、入力できる情報を一緒に示す必要があります。「会社で使えるAI」と「自分が普段使っているAI」を現場が取り違えないよう、利用ルールや利用環境を整えることが大切です。

RIZAPでは再発防止策として、社内で許諾されていない生成AIの業務利用禁止の再周知、教育、アクセス権限や利用環境の点検・見直しを挙げています。企業が生成AIの利用を見直す際は利用ルールだけでなく、アクセス制限などの利用環境もあわせて確認する必要があります。

生成AIの情報漏洩を防ぐために企業が見直すべきこと

社内ルールは、現場の作業に沿った形で示すと使いやすくなります。以下は、企業が自社の契約や情報分類に合わせて具体化するための判断例です。

図2:生成AIへファイルを送る前の判断例

参考:個人情報保護委員会【別添1】「生成AIサービスの利用に関する注意喚起等について」(令和5年6月2日)(https://www.ppc.go.jp/files/pdf/230602_kouhou_houdou.pdf)等を参考に弊社作成。
※図は企業向けの一般的な判断例であり、法令上の適否を判定するものではありません。また、RIZAP社内の実際の運用を示すものではありません。

ファイル単位ではなく、中に含まれる情報まで確認する

表計算ファイルには、集計対象の列だけでなく、別のシートや自由記述欄に情報が残っている場合があります。そこで、アップロード用のデータを別に作成し、必要な項目だけを含める手順を設けます。氏名を削除しただけで安全と判断せず、番号や属性の組合せなど、個人を識別できる情報が残っていないかも確認します。

禁止事項と、迷ったときの相談先をセットにする

教育では「個人情報を入力しない」という説明に加え、集計表、議事録、顧客から届いた資料など、実際の業務を題材に判断を練習します。許可された使い方と相談窓口も示し、判断できないファイルは送信を止めて確認する運用にします。アクセス制限やデータ送信の制御を導入する場合も、対象のサービスや通信経路でどこまで制御できるかを確認したうえで、ルールを補完する仕組みとして位置付けます。

生成AIへ誤って情報を送信した場合の対応

生成AIへの誤送信に気付いたら、追加の送信を止め、社内の情報セキュリティ・個人情報管理の担当窓口へ速やかに報告します。サービス名、アカウント、送信日時、ファイルの内容、実施した操作を整理し、削除依頼や事業者への照会を進めます。必要な記録の保全と拡散防止は担当者の指揮で行い、記録用に機微な情報を別の外部サービスへコピーしないようにします。 確認したいのは、保存先と保持期間、閲覧の可能性、学習等への利用、削除の対象と完了状況です。画面上の履歴削除と、事業者側にあるデータの削除がどのような関係にあるかも確認します。行政機関への報告や本人への通知については、把握した事実に基づき、個人情報保護委員会の案内に沿って要否を判断します。[3]

生成AIの安全な業務利用に向けたBBSecの支援

生成AIの利用を始めていても、承認手順や教育が追い付いていない企業は、まずルールと実際の使い方の差を整理することが出発点になります。BBSecの「AIサービス提供者・利用者向けサイバーセキュリティ対策支援」では、AI利用者向けのセキュリティガイドライン雛形の提供と、事業に合わせたカスタマイズによる整備支援を用意しています。さらに、AI利用時の脅威・リスク・適切な利用方法・対策を扱う教育コンテンツの提供や、講師によるオンライン研修にも対応しています。既存の社内規程との整合性を見直したい場合は、「情報セキュリティ文書整備支援」により、文書体系の提案や既存文書の統廃合・改訂について支援を受けることもできます。生成AIを安全に業務利用するためには、ルールを定めるだけでなく、従業員が実際の業務で判断できるよう、教育とあわせて運用していくことが重要です。自社のAI利用ルールや教育体制を見直したい場合は、BBSecにご相談ください。

よくある疑問

▼ 個人情報を削除すれば、自由に使えますか?

【参考情報】

編集責任:木下


生成AIの安全な業務利用についてご相談ください

生成AIの安全な業務利用や、AI利用ルール・教育体制の整備についてお悩みの方は、ブロードバンドセキュリティ(BBSec)までお気軽にご相談ください。


ウェビナー開催のお知らせ

最新情報はこちら


Security Serviceへのリンクバナー画像
BBsecコーポレートサイトへのリンクバナー画像
セキュリティ緊急対応のバナー画像

Security NEWS TOPに戻る
バックナンバー TOPに戻る

OpenAIのAIエージェントが外部Wikiへ書き込み ―企業が見直すべき権限・通信・監視

Share
OpenAIのAIエージェントが外部Wikiへ書き込みアイキャッチ画像

情報取得のためにインターネットへのアクセスを許可されたAIエージェントが、想定されていなかった外部サイトへの書き込みにもその通信経路を利用していた――。OpenAIのAIエージェントによる外部Wikiへの書き込み事案は、AIエージェントにどこまで権限を与えるべきかを考える材料となりました。本記事では、この事案をもとに、企業がAIエージェントを利用する際に確認しておきたい権限・通信・承認・監視のポイントを解説します。

※本記事は2026年9月7日時点で確認できる公表資料に基づき作成しています。

OpenAIのWiki事案とは? 研究報告が示した行動

研究者は、外部Wikiに残された約1万8,000件のAIエージェントによる投稿を発見したと報告しています*7。活動の中心はドイツ語のDSEwikiでした。これはエージェントの台数や被害者数ではなく、投稿の数です。同報告では、エージェントがWeb検索課題の回答を共有し、動作環境の情報や制限を回避する方法も交換していたと説明されています。

図1:外部Wikiがエージェント同士の情報共有場所になる構図

主な活動:2026年5~6月(一部7月)/研究報告の公表:9月4日

出典:collusion.wiki「Discovery of a new OpenAI agent message board」(https://collusion.wiki/)を基に弊社作成
※約1万8,000件は、研究者が確認したAIエージェントによる投稿数であり、エージェント数ではありません。図中のエージェントは構図を説明するためのイメージです。

外部Wikiへの活動は5月に始まり、6月に急増しました。6月22日以降はほぼ停止し、7月1~2日に一部の活動が確認されています。研究報告が公表されたのは9月4日です。

「閲覧用の通信」と「書き込みできない状態」は同じか

技術面で注目したいのは、研究報告がGETリクエストを通じた外部Wikiへの書き込みを説明している点です*2。GETは、通常、Webページなどの情報を取得するために使われるHTTPのメソッドです。HTTPの仕様では安全なメソッドとして扱われ、クライアントがサーバーの状態変更を求めないことが基本の意味になります。

ただし、HTTPメソッドの仕様と、実際のWebアプリケーションの実装は必ずしも一致しません。研究報告によれば、今回利用された古いWikiでは、GETリクエストによって編集処理を実行できる仕組みが存在していました。そのため、エージェント側で通信をGETに限定していても、結果として外部サイトの状態を変更できました。この事案が示すのは、通信の名前だけで権限の境界を判断できないという問題です。

AIへの注意書きに加え、実行側で権限を制限する

AIに「外部には書き込まないでください」と指示することは、行動方針を伝える手段です。一方で、システムが実際にその操作を拒否できるかどうかは別に検証します。閲覧用途なら、閲覧に不要なツールや認証情報を与えず、アクセス先と実行可能な操作を絞る必要があります。

OWASPは、LLMを使うシステムに必要以上の機能・権限・自律性を与えるリスクを「LLM06:2025 Excessive Agency」として整理しています。利用目的に必要な機能だけを提供し、接続先のシステムでも権限を確認するという考え方は、AIエージェントの設計に役立ちます。

Hugging Face事案やプロンプトインジェクションとの違い

研究者は、Wikiで活動した群とHugging Faceへの攻撃に関わった群について、別のエージェント群だった可能性が高いと分析しています。そのため、両者は別の事案として捉える必要があります。また、Webページや文書に紛れた指示でAIの動作を変えようとする「LLM01:2025 Prompt Injection」と、エージェントが与えられた課題の達成に向けて想定外の手段を使う問題も同一ではありません。Wiki事案を特定のプロンプトインジェクション攻撃が原因だったと決め付けず、実際にどの操作が可能だったかに注目することが大切です。

AIエージェントのセキュリティ対策を、操作の流れで考える

企業がAIエージェントを導入する際には、モデル単体ではなく、ツール、認証情報、接続先を含む実行環境を確認します。以下は、OWASPの対策を基にした企業向けの設計例です。

図2:AIが提案した操作を、実行前後の制御で管理する

出典:OWASP「LLM06:2025 Excessive Agency」(https://genai.owasp.org/llmrisk/llm062025-excessive-agency/)および「AI Agent Security Cheat Sheet」(https://cheatsheetseries.owasp.org/cheatsheets/AI_Agent_Security_Cheat_Sheet.html)を基に弊社作成
※制御設計の例。実際の構成・承認条件・取得可能なログは、システムごとに定義します。OpenAIの実際の内部構成や、BBSecの個別サービス構成を表すものではありません。

最小権限と人の承認を、業務の影響に合わせて設定する

社内資料の検索を行うエージェントなら、必要な資料を読む権限に絞り、不要な更新・削除権限を持たせないようにします。外部送信、公開、重要データの変更など影響の大きい操作は、人が送信先と内容を確認してから実行する設計が考えられます。承認する操作と実行する操作が一致することも、実装時に確認します。

許可した接続先でも、使える操作を点検する

接続先の許可リストは管理の出発点になりますが、そのサイトやAPIで何ができるかまで点検します。検索・閲覧に必要な通信と、投稿・更新など状態を変える通信を区別し、目的外の操作を実行側で拒否できる構成を検討します。例外を追加したときは、許可範囲が広がっていないかを再確認します。

ログは「AIの回答」だけでなく「実際の操作」を残す

AIエージェントの挙動を調べるには、回答文だけでなく、呼び出したツール、接続先、実行結果、承認の記録を追えるようにします。誰の依頼で動いたエージェントか、どの権限を使ったかも結び付けておくと、想定外の操作が起きた際の調査に役立ちます。OWASPもエージェントのツール利用等の記録と異常の監視を推奨しています*3。

一方で、ログに個人情報や認証情報を無制限に残してよいわけではありません。調査に必要な記録と機微情報の保護を両立させ、閲覧権限と保存期間を定めます。異常な連続アクセスや承認外の操作を検知した後、誰がエージェントを止め、認証情報を無効化するのかまで運用手順に含めます。

BBSecの支援で、AIの利用方針とシステム設計をつなぐ

エージェントに任せる業務と、人が判断する業務の境界は、情報システム部門だけでなく利用部門も共有する必要があります。BBSecの「AIサービス提供者・利用者向けサイバーセキュリティ対策支援」は、提供者と利用者それぞれに向けたセキュリティガイドラインの雛形提供と、事業に合わせたカスタマイズによる整備支援を用意しています。

自社でAIエージェントを組み込むシステムを開発する場合には、BBSecの「Shift Left コンサルティング」も相談先になります。同サービスは、要件定義・設計段階でのセキュリティレビューや、システム・運用要件の評価と対策案の提示、開発標準・ガイドラインの策定支援を提供しています。まず、AIに許可する操作、接続先、承認が必要な処理を整理し、レビューしたい範囲を相談する進め方が考えられます。一般的なシステムのセキュリティレビューと、モデルの自律的な挙動を専門的に評価する試験は区別し、必要な評価内容を事前にすり合わせることが大切です。

AIエージェントの活用範囲は、止められる範囲から広げる

Wiki事案から企業が学べるのは、指示した内容に加え、システムとして何を許しているかを確認する姿勢です。扱う情報と操作を絞って検証し、記録・承認・停止の仕組みを整えたうえで活用範囲を広げる。権限の境界を具体的に設計することが、AIエージェントを業務で使い続けるための基盤になります。

【参考情報】

編集責任:木下


AIエージェントのセキュリティ対策をご検討の方へ

AIエージェントの導入・活用におけるセキュリティ対策についてお悩みの方は、ブロードバンドセキュリティ(BBSec)までお気軽にご相談ください。


ウェビナー開催のお知らせ

最新情報はこちら


Security Serviceへのリンクバナー画像
BBsecコーポレートサイトへのリンクバナー画像
セキュリティ緊急対応のバナー画像

Security NEWS TOPに戻る
バックナンバー TOPに戻る

生成AIのリスクとは?企業利用で注意すべき情報漏洩・著作権・誤情報と対策

Share
生成AIのリスクとは?企業利用で注意すべき情報漏洩・著作権・誤情報と対策アイキャッチ画像

生成AIは、文章作成や要約、翻訳、情報収集、プログラミング支援など、さまざまな業務で利用されるようになりました。業務を効率化できる一方で、機密情報の漏洩や誤情報、著作権など、新たなリスクへの対応も必要です。

さらに、生成AIを利用するのは企業や一般のユーザーだけではありません。攻撃者がフィッシングメールの作成や攻撃に必要な情報収集などに生成AIを悪用することも考えられます。生成AIにはどのようなリスクがあり、企業はどう向き合えばよいのでしょうか。本記事では、企業による利用とサイバー攻撃への悪用という両面から、生成AIのリスクと対策を考えます。

生成AIの利用リスクだけでなく、AI・LLMを取り巻く脅威や企業に求められる対策の全体像については、「AIセキュリティとは?生成AI時代に企業が知っておくべきリスクと対策」で詳しく紹介しています。

生成AIの普及で広がる企業のリスク

生成AIは、一部の技術者や専門家だけが利用するものではなくなりました。メールや資料の作成、文章の要約、翻訳、アイデア出し、プログラムコードの作成・確認など、日常的な業務のさまざまな場面で活用されています。利用できる場面が広がるほど、生成AIが扱う情報も重要になります。

例えば、「文章を考えてもらう」だけであれば、入力するのは簡単な指示だけかもしれません。しかし、実際の業務では、顧客から届いたメールを貼り付けて返信を作成したり、会議録や契約書をアップロードして要約したり、ソースコードを入力して問題点を確認したりすることも考えられます。こうした使い方は便利ですが、生成AIに渡す情報の中に機密情報や個人情報などが含まれていれば、新たな情報管理の問題が生じます。

また、注意が必要なのは入力する情報だけではありません。生成AIが出力した内容が正しいとは限らず、その情報をどのように利用するかについても利用者側の判断が必要です。生成AIが業務に深く入り込むほど、「何を入力するのか」「何が出力されたのか」「その結果を何に使うのか」を考える必要性も高まっているのです。

企業が生成AIを利用する際のリスクは、大きく「入力」と「出力」に分けて考えると整理しやすくなります。

場面主なリスク
AIへの入力機密情報・個人情報の漏洩、著作物・知的財産の取り扱い
AIからの出力誤情報・ハルシネーション、著作権等の問題、AIへの過度な信頼
組織での利用シャドーAI、利用状況を把握できないリスク
外部からの脅威攻撃者による生成AIの悪用

生成AIに何を入力するかだけを管理しても、出力された情報を無条件に信用してしまえば別の問題が生じます。また、社内ルールを整備していても、従業員が管理外の生成AIを利用していれば、企業としてリスクを把握できません。

さらに、自社が生成AIを利用するリスクだけでなく、攻撃者が生成AIを利用することでサイバー攻撃が効率化される可能性についても考えておく必要があります。

生成AIに機密情報を入力するとどうなる?

生成AIの企業利用で特に注意したいのが、機密情報や個人情報の取り扱いです。例えば、次のような使い方は業務効率化のために自然に行われる可能性があります。

  • 顧客から届いたメールを貼り付けて返信文を作成する
  • 会議録をアップロードして要点をまとめる
  • 契約書を読み込ませて内容を要約する
  • ソースコードを入力してエラーの原因を調べる
  • 社内資料を読み込ませて新しい資料を作成する

しかし、そこに顧客情報や個人情報、社外秘情報、未公開情報などが含まれていれば、企業が管理すべき情報を外部の生成AIサービスへ渡すことになります。

「生成AIに入力するとすべて学習される」は正しい?

生成AIへの情報入力について、「入力した情報はすべてAIの学習に使われる」と説明されることがあります。しかし、必ずしも一律にそうなるわけではありません。入力データが保存されるのか、モデルの学習やサービス改善に利用されるのかといった条件は、サービスや契約プラン、設定などによって異なります。そのため、「生成AIだから機密情報を入力してはいけない」という単純な判断だけではなく、自社が利用するサービスで入力データがどのように取り扱われるのかを確認することが重要です。

企業では、利用規約やプライバシーポリシー、データの保存・利用条件などを確認したうえで、業務利用を認めるサービスを選定する必要があります。また、入力してよい情報と禁止する情報を具体的に定め、従業員に周知することも重要です。「機密情報は禁止」とするだけでなく、顧客情報、個人情報、社外秘資料、認証情報など、自社の業務に即した例を示すと判断しやすくなります。

生成AIと著作権で注意すべきこと

生成AIと著作権の問題についても、「AIが作ったものを使ってよいか」という生成物だけに目を向けるのではなく、AIへ何を入力するかという点から考える必要があります。

他人の文章や画像を生成AIに入力してよいのか

生成AIを利用する際、Web上の文章や画像、顧客・取引先から提供された資料などを入力することがあります。しかし、こうした情報には著作権のほか、契約上の秘密保持義務や利用条件などが関係する場合があります。「インターネットで公開されている」「自社が保有している」という理由だけで、どのような使い方でも認められるとは限りません。業務で生成AIへ情報を入力する場合は、その情報をAIサービスへ提供して問題がないかという観点からも確認する必要があります。

AIが作った文章や画像なら自由に使えるのか

生成AIが作成した文章や画像、プログラムコードなどについても、無条件に自由に利用できるとは限りません。生成物が既存の著作物と類似していたり、第三者の権利に関係する内容を含んでいたりする可能性があります。また、利用する生成AIサービスによって生成物に関する利用条件が異なる場合もあります。

特に、Webサイトや広告、製品、顧客向け資料など外部に公開するコンテンツに生成AIを利用する場合には、人による確認を行い、用途に応じて権利関係についても確認することが重要です。生成AIの利便性が高まるほど、「AIが作ったから問題ない」と考えず、最終的にその生成物を利用する側が確認するという意識が必要になります。

生成AIは「もっともらしく間違える」

生成AIのもう一つの特徴が、必ずしも正しい情報を出力するとは限らないことです。生成AIは、事実とは異なる情報を、自然で説得力のある文章として生成する場合があります。このような現象は「ハルシネーション」と呼ばれます。

例えば、

  • 存在しない事例を紹介する
  • 誤った数値を示す
  • 実在しない書籍や論文、Webページを出典として挙げる
  • 古い情報を現在の情報として回答する
  • 質問の前提を誤って解釈したまま回答する

といったことが考えられます。

問題は「間違いが間違いらしく見えない」こと

生成AIの誤情報で注意したいのは、単にAIが間違えることだけではありません。回答が自然な文章で生成されるため、利用者が誤りに気づかず、「AIが回答したのだから正しいだろう」と信用してしまう可能性があります。例えば、存在しない制度や統計を社内資料に記載したり、誤った内容を顧客への回答に使用したりすれば、企業の信用にも影響しかねません。

そのため、生成AIを検索エンジンや一次情報そのもののように扱うことは避ける必要があります。重要な情報については、公的機関や企業の公式情報、原典などを確認します。また、顧客への回答や外部公開資料、法務・財務・セキュリティなど重要な判断に利用する場合には、人によるレビューを組み込むことが必要です。

生成AIは判断を代替するものではなく、情報整理や作業を支援するツールとして使うことが基本となります。

生成AIはサイバー攻撃にも使われる

ここまでは企業が生成AIを「使う側」のリスクを見てきました。しかし、生成AIを利用できるのは企業や一般ユーザーだけではありません。攻撃者にとっても、生成AIは情報収集や文章作成、プログラミングなどを支援するツールになり得ます。

フィッシングメール作成のハードルを下げる

フィッシング攻撃では、受信者をだまして偽サイトへ誘導したり、マルウェアを実行させたりするためのメールやメッセージが利用されます。

生成AIを使えば、自然な文章の作成や翻訳、文章の修正などを短時間で行うことができます。攻撃対象の業種や立場に合わせた文章を作成する作業にも利用できるため、攻撃者によるコンテンツ作成の負担を減らす可能性があります。

従来、不自然な日本語や文法上の誤りは不審なメールを見分ける手掛かりの一つでした。しかし、生成AIによって自然な文章を容易に作成できるようになれば、文章の不自然さだけでフィッシングを見抜くことはさらに難しくなります。

マルウェアや攻撃コードの作成にも悪用されるのか

主要な生成AIサービスでは、有害なコンテンツやサイバー攻撃への悪用を防ぐための安全対策が講じられています。それでも、生成AIがプログラムコードの作成や修正、技術情報の整理などに利用できる以上、攻撃者が攻撃準備や作業の一部を効率化するために利用する可能性はあります。ここで重要なのは、「生成AIが登場したことで、これまで存在しなかったサイバー攻撃が突然生まれた」と捉えることではありません。

生成AIでサイバー攻撃はどう変わるのか

生成AIがサイバー攻撃に与える大きな影響の一つは、既存の攻撃を「速く」「大量に」「巧妙に」実行するための支援に使われる可能性があることです。

例えば、攻撃対象に関する情報収集、フィッシングメールの文章作成、翻訳、プログラムコードの作成支援など、従来は攻撃者自身が時間をかけて行っていた作業の一部を効率化できます。これは防御する企業側にとっても重要な変化です。これまでと同じ種類の攻撃であっても、攻撃者が試行できる量や速度が増えれば、企業が直面する脅威も変化します。

生成AI時代のセキュリティを考える際には、「AIそのものからどう情報を守るか」だけでなく、AIを利用して効率化される既存のサイバー攻撃にどう備えるかという視点も必要です。

生成AI時代でも基本的なセキュリティ対策は重要

生成AIによってサイバー攻撃が効率化・巧妙化する可能性があるからといって、企業に求められるセキュリティ対策がすべて新しいものに変わるわけではありません。フィッシングやマルウェア、不正アクセスなど、生成AIが悪用される可能性のある攻撃の多くは、以前から存在する攻撃手法です。そのため、生成AI時代においても、基本的なセキュリティ対策を継続することが重要です。

基本的なセキュリティ対策の例

基本的な対策こそが重要の画像

特にフィッシングについては、生成AIによって自然な文章を作成しやすくなることで、「日本語が不自然だから怪しい」といった従来の見分け方だけでは判断が難しくなる可能性があります。送信元やURL、要求されている操作などを確認し、文章の自然さだけでメールの安全性を判断しないことが大切です。

生成AIによる脅威を特別なものとして切り離して考えるのではなく、従来のセキュリティ対策を着実に行ったうえで、生成AIの利用や悪用によって生じる新たなリスクへの対策を加えていくことが基本となります。

「生成AIは危険だから禁止」でよいのか

ここまで生成AIのさまざまなリスクを見てきました。それでは、企業は生成AIの利用を禁止すれば安全なのでしょうか。生成AIを利用しなければ回避できるリスクがあるのは確かです。しかし、利用禁止だけで問題が解決するとは限りません。

禁止だけでは「シャドーAI」につながる可能性も

組織が許可・把握していない生成AIサービスを従業員が業務に利用することは、「シャドーAI」と呼ばれます。例えば、会社では生成AIの利用を認めていなくても、従業員が個人アカウントで生成AIへアクセスし、業務資料を要約しているかもしれません。

この場合、企業側では、

  • 誰がどの生成AIを利用しているのか
  • どのような情報を入力したのか
  • 入力データがどのように扱われているのか
  • 生成された情報を何に利用したのか

を把握することが難しくなります。生成AIを禁止するか許可するかという二者択一ではなく、業務上の利用ニーズとリスクの両方を踏まえて管理することが重要です。

リスクを理解したうえで利用する

生成AIを安全に利用するためには、「生成AIは危険か、安全か」という単純な判断ではなく、利用方法を具体的に考える必要があります。

例えば、

  • どの生成AIサービスを利用するのか
  • どのような業務に利用するのか
  • 何を入力してよいのか
  • AIの出力を誰が確認するのか
  • 問題が起きた場合にどこへ報告するのか

といった点を明確にすることで、リスクを管理しながら生成AIを活用しやすくなります。

生成AIを安全に利用するために企業が行うべき5つの対策

生成AIのリスクは、特定のセキュリティ製品だけで解決できるものではありません。利用環境、ルール、教育などを組み合わせ、組織として取り組む必要があります。

  1. 利用する生成AIサービスを決める
    業務で利用を認める生成AIサービスを明確にします。サービスの機能だけでなく、入力データの保存・利用条件、アクセス管理、管理者向け機能なども確認して選定します。
  2. 入力してよい情報・禁止する情報を決める
    生成AIへ入力できる情報の範囲を明確にします。個人情報、顧客情報、社外秘資料、ソースコード、認証情報など、自社で実際に扱う情報を例示すると、従業員が判断しやすくなります。
  3. AIの出力を確認する
    生成AIから得た回答や生成物をそのまま利用せず、用途に応じて確認します。特に外部公開する情報、顧客への回答、重要な意思決定に利用する場合には、事実関係や権利関係などを人が確認するプロセスを設けます。
  4. AI利用ガイドラインを整備する
    利用可能なサービスや用途、入力禁止情報、生成物の確認方法、問題が発生した場合の報告先などをルールとして整理します。
  5. 利用状況を把握し、継続的に見直す
    生成AIのサービスや機能は変化し続けています。新しいサービスが利用されていないか、現在のルールが実態に合っているかを定期的に確認します。新たなリスクや利用方法が確認された場合には、ガイドラインや利用環境、従業員教育も見直していくことが重要です。

AI利用ガイドラインや組織としての管理体制については、「AIガバナンスとは?企業に必要な体制とAI利用ガイドラインの作り方」で詳しく紹介します。

生成AIのリスクに関するよくある質問

▼ ChatGPTなどに会社の情報を入力すると情報漏洩になりますか?
▼ 生成AIで作った文章や画像は自由に利用できますか?
▼ 会社で生成AIの利用を禁止すれば安全ですか?
▼ 生成AIによってサイバー攻撃は増えるのでしょうか?

まとめ

生成AIは、業務を効率化する便利なツールである一方、機密情報の漏洩、著作権・知的財産、誤情報など、利用方法に応じたリスクがあります。また、攻撃者が生成AIを利用し、フィッシングなど既存のサイバー攻撃を効率化する可能性にも注意が必要です。

重要なのは、生成AIを過度に恐れることではなく、どのような場面で、どのようなリスクが生じるのかを理解したうえで利用することです。企業では生成AIの利用を個々の従業員の判断だけに任せず、利用するサービス、入力できる情報、生成物の確認方法などを明確にする必要があります。さらに、利用状況を把握し、AIサービスや脅威の変化に応じてルールや対策を継続的に見直していくことが、安全な生成AI活用につながります。

LLMを利用したシステムでは、プロンプトインジェクションなど、LLMの特性を悪用したセキュリティリスクにも注意が必要です。LLMアプリケーションで注意すべき脅威と技術的な対策については、「LLMセキュリティとは?プロンプトインジェクションなどの脅威と対策」で詳しく解説しています。

公開日:2023年6月28日
更新日:2026年9月2日

編集責任:木下


BBSecでは

AIの利用拡大に伴い、企業を取り巻くIT環境やセキュリティリスクも変化しています。公開IT資産の把握、脆弱性の確認、セキュリティ対策の有効性検証など、自社の課題に応じた対策をご相談ください。


Security Serviceへのリンクバナー画像
BBsecコーポレートサイトへのリンクバナー画像
セキュリティ緊急対応のバナー画像

Security NEWS TOPに戻る
バックナンバー TOPに戻る

AIセキュリティとは?生成AI時代に企業が知っておくべきリスクと対策

Share
AIセキュリティとは?生成AI時代に企業が知っておくべきリスクと対アイキャッチ画像策

生成AIの業務利用が広がる一方、情報漏洩や誤情報、著作権、AIシステムを狙った攻撃など、新たなリスクも生じています。本記事では、企業がAIを安全に活用するために押さえておきたい、AIセキュリティの主なリスクと対策を紹介します。

AIセキュリティとは

AIセキュリティとは、AIの利用やAIを組み込んだシステムに伴うセキュリティ上のリスクを把握し、情報やシステム、業務を守るための取り組みです。企業におけるAI活用を考える際には、大きく二つの観点があります。

一つは、AIを利用することで生じるリスクです。従業員が生成AIに機密情報や個人情報を入力することによる情報漏洩、生成された誤情報の利用、著作権や知的財産に関する問題、企業が把握していないAIサービスを業務に利用する「シャドーAI」などが挙げられます。

もう一つは、AIシステムそのものに対するセキュリティリスクです。AIやLLM(大規模言語モデル)を組み込んだシステムでは、悪意のある指示によって意図しない動作を引き起こすプロンプトインジェクションをはじめ、機密情報の漏洩や不適切な権限の利用など、AI特有のリスクを考慮する必要があります。

生成AIやAIエージェントの普及により、AIは単に質問に回答するツールから、社内データを参照したり、外部のシステムやサービスと連携して処理を行ったりする存在へと用途を広げています。そのためAIセキュリティでは、従業員の利用ルールだけでなく、AIに接続するデータやシステム、付与する権限まで含めてリスクを捉えることが重要になります。

AIセキュリティが注目される背景

生成AIは、文章作成や要約、翻訳、情報収集、プログラミングなど幅広い業務で活用されています。また、既存の業務システムやWebサービスに生成AIを組み込むケースも増え、企業とAIとの接点は広がっています。

こうした活用の拡大に伴い、セキュリティ上の課題も顕在化しています。従業員が組織の許可を得ずに生成AIを利用するシャドーAIによる情報漏洩や、不正確な出力による業務への影響などは、その代表例です。

さらに、AIシステム自体が攻撃対象になることも考慮しなければなりません。従来のWebアプリケーションやクラウドサービスへのセキュリティ対策に加えて、AI・LLMの特性を悪用した攻撃への備えも必要になっています。

AIをめぐっては、国内外で安全性や透明性、適正な利用に関するルールやガイドラインの整備も進められています。企業には、技術的なセキュリティ対策だけでなく、こうした動向を踏まえてAIの利用方針や管理体制を継続的に見直すことも求められます。

従来のセキュリティ対策との違い

AIを利用する場合でも、アクセス制御や認証、脆弱性管理、ログ監視といった従来のセキュリティ対策が不要になるわけではありません。これらは引き続き重要な基盤となります。そのうえでAIセキュリティでは、AIへの入力、AIからの出力、AIが参照するデータ、AIに与える権限といった新たな要素についても対策を考える必要があります。

例えば、システムへのアクセス権限が適切に管理されていても、従業員が外部の生成AIサービスへ機密情報を入力すれば、別の経路から情報が外部へ渡る可能性があります。また、AIを組み込んだシステムでは、通常の操作では想定していなかった指示によってAIの動作が誘導される可能性もあります。

したがって、AIセキュリティでは従来のサイバーセキュリティを土台としながら、「AIをどのように利用するか」と「AIを組み込んだシステムをどのように守るか」の両面から対策を考えることがポイントとなります。

企業が注意すべき生成AIの主なリスク

生成AIは業務効率化や情報収集などに役立つ一方、使い方によっては情報漏洩や誤った判断につながる可能性があります。企業で利用する際には、どのような情報を入力するのか、生成された内容をどのように扱うのかといった観点からリスクを把握する必要があります。

機密情報・個人情報の漏洩

生成AIに顧客情報や社内の機密情報、個人情報などを入力すると、利用するサービスの仕様や設定によっては、入力した情報がサービス提供者側で保存・利用される可能性があります。業務で生成AIを利用する場合は、入力してよい情報と禁止する情報を明確にするとともに、利用するサービスのデータ取り扱い方針や設定を確認することが必要です。

誤情報・ハルシネーション

生成AIは、事実と異なる内容や、もっともらしい誤情報を生成することがあります。こうした現象は「ハルシネーション」と呼ばれます。

生成された文章や回答を十分に確認せず、社内資料や顧客への回答、意思決定などに利用すると、誤った情報が業務に影響を及ぼすおそれがあります。重要な情報については、信頼できる情報源と照合するなど、人による確認が欠かせません。

著作権・知的財産に関するリスク

生成AIでは、入力する情報と生成されたコンテンツの双方について、著作権や知的財産への配慮が必要です。第三者が権利を持つ文章や画像などを安易に入力したり、AIが生成したコンテンツを確認せずに公開・商用利用したりすると、権利上の問題につながる可能性があります。利用する生成AIサービスの規約を確認するとともに、生成物の利用方法に応じた確認体制を整えることが求められます。

シャドーAI

シャドーAIとは、組織が把握・管理していない生成AIサービスを従業員が業務で利用している状態を指します。企業が生成AIの利用を一律に禁止していても、従業員が個人アカウントなどを使って利用すれば、機密情報が管理外のサービスへ入力される可能性があります。そのため、単に利用を禁止するだけでなく、利用可能なAIサービスや用途を明確にし、組織として利用状況を把握できる環境を整えることが重要です。

生成AIの利用に伴うリスクや企業が取るべき対策については、「生成AIのリスクとは?企業利用で注意すべき情報漏洩・著作権・誤情報と対策」で詳しく紹介します。

AIを狙ったサイバー攻撃にも注意が必要

AIセキュリティで考えるべきなのは、従業員が生成AIを安全に利用するための対策だけではありません。AIやLLM(大規模言語モデル)を組み込んだシステムが普及することで、AIの仕組みや特性を悪用した攻撃への備えも必要になっています。

プロンプトインジェクション

プロンプトインジェクションは、攻撃者が悪意のある指示をAIに与えることで、本来想定されていない動作や出力を引き起こそうとする攻撃です。ユーザーが直接入力する指示だけでなく、AIが読み込むWebページや文書などに悪意のある指示を埋め込む「間接プロンプトインジェクション」にも注意が必要です。外部の情報を参照するAIや、他のシステムと連携して処理を行うAIでは、影響範囲が広がる可能性があります。

センシティブ情報の漏洩

AIを組み込んだシステムでは、モデルが参照できる情報やユーザーの入力内容などが、意図せず出力される可能性があります。特に、社内文書や顧客情報などをAIから参照できるようにしている場合には、利用者の権限に応じて参照可能な情報を制御するなど、AIだけに依存しないアクセス制御が必要です。

データやモデルへの不正な操作

AIの動作は、学習データや外部から取得する情報などの影響を受けます。攻撃者によってデータが意図的に操作されれば、AIの判断や出力が影響を受ける可能性があります。AIが参照するデータの信頼性を確認するとともに、データへのアクセスや変更を適切に管理することが求められます。

AIに与える権限にも注意

AIエージェントなど、AIが外部サービスや社内システムと連携して処理を実行する仕組みでは、AIにどこまでの権限を与えるかが重要になります。必要以上の権限を付与すると、AIが意図しない操作を行った場合や攻撃者に悪用された場合の影響が大きくなります。人のアカウントと同様に、AIについても必要最小限の権限を設定し、重要な処理には人による確認を組み合わせることが重要です。

OWASPが示すLLMアプリケーションのリスク

LLMを利用したアプリケーションには、従来のWebアプリケーションと共通するリスクに加え、プロンプトインジェクションをはじめとしたLLM特有のリスクがあります。

OWASPでは、LLMや生成AIアプリケーションで特に注意すべきセキュリティリスクを整理しています。AIを組み込んだサービスを開発・提供する企業では、こうしたリスクを踏まえて、設計・開発・運用の各段階で対策を検討する必要があります。

具体的な脅威と対策については、「LLMセキュリティとは?プロンプトインジェクションなどの脅威と対策」で詳しく紹介します。

AIセキュリティ対策は「利用」と「システム」の両面から考える

ここまで見てきたように、AIセキュリティには、従業員による生成AIの利用に伴うリスクと、AIを組み込んだシステムそのものに対するリスクがあります。そのため企業では、利用ルールの整備だけでなく、ガバナンスや技術的なセキュリティ対策を組み合わせて取り組むことが必要です。

AI利用ルールを整備する

まず、従業員がどのような条件でAIを利用できるのかを明確にします。利用可能なAIサービスや用途、入力してはいけない情報、生成物を利用する際の確認方法などを定め、従業員が判断に迷わないルールにすることが重要です。また、AIサービスや利用方法は変化するため、一度ルールを作成して終わりにせず、利用状況に応じて見直していく必要があります。

AIガバナンスの体制を整備する

AIの利用を個々の従業員や部門だけに任せるのではなく、組織として管理する仕組みも必要です。誰がAI利用を管理するのか、どのようにリスクを評価するのか、問題が発生した場合にどの部門が対応するのかなど、役割と責任を明確にします。

AI利用ガイドラインの策定方法や組織としての管理体制については、「AIガバナンスとは?企業に必要な体制とAI利用ガイドラインの作り方」で詳しく紹介します。

シャドーAIを把握・管理する

ルールを整備しても、組織が把握していないAIサービスが利用されていれば、リスクを十分に管理できません。どの部門でどのようなAIが利用されているかを把握し、必要に応じて利用サービスを承認制にするなど、実際の利用状況とルールを一致させる取り組みが必要です。

AIを組み込んだシステムのセキュリティを確認する

AIを利用したシステムを開発・導入する場合には、通常のアプリケーションと同様のセキュリティ対策に加えて、AI・LLM固有のリスクも確認します。入力・出力の検証、アクセス制御、権限管理、APIや外部サービスとの連携、ログの記録などを確認し、プロンプトインジェクションをはじめとする攻撃への対策も検討します。

継続的なセキュリティ対策の見直し

AIを取り巻くサービスや技術、攻撃手法は変化しています。現在安全と判断した利用方法や設定であっても、将来も同じとは限りません。AIの利用状況や新たな脅威を定期的に確認し、ガイドラインやシステム設定、セキュリティ対策を継続的に見直していくことが重要です。

企業はAIセキュリティ対策をどこから始めるべきか

AIセキュリティといっても、すべての対策を一度に導入する必要はありません。まずは自社でAIがどのように使われているかを把握し、リスクの高い領域から優先して対策を進めます。

STEP1 AIの利用状況を把握する
利用しているAIサービス、利用部門、用途、取り扱う情報などを整理します。
STEP2 扱う情報とリスクを整理する
機密情報や個人情報など、AIで扱う情報と想定されるリスクを確認します。
STEP3 AI利用ガイドラインを整備する
利用可能なサービスや用途、禁止事項、生成物の確認方法などを定めます。
STEP4 技術的なセキュリティ対策を実施する
AIを組み込んだシステムについて、アクセス制御や権限管理、入出力の検証、脆弱性への対策などを行います。
STEP5 継続的に評価・改善する
利用状況や新たなリスクを確認し、ルールと技術対策を定期的に見直します。

AIの利用を一律に禁止するのではなく、どこにリスクがあるのかを把握したうえで、業務上のメリットと安全性のバランスを取りながら活用していくことが重要です。

AIセキュリティに関するよくある質問

▼ AIセキュリティとは何ですか?
▼ 生成AIを業務で利用する場合、どのようなリスクがありますか?
▼ AI利用ガイドラインには何を定めればよいですか?
▼ LLMにはどのようなセキュリティリスクがありますか?

まとめ

生成AIの普及によって、企業がAIを業務やシステムに取り入れる機会は広がっています。それに伴い、情報漏洩や誤情報、著作権などの利用上のリスクだけでなく、プロンプトインジェクションをはじめとするAI・LLMを狙った攻撃についても考える必要があります。AIセキュリティでは、AIを安全に利用することとAIを組み込んだシステムを安全にすることの両面から対策を進めることがポイントです。まずは自社でどのようにAIが利用されているかを把握し、AI利用ガイドラインや管理体制を整備するとともに、AIを組み込んだシステムについてはアクセス制御や権限管理、入出力の検証など、技術的な対策も進めていきましょう。

AIを取り巻く技術や脅威は変化しています。利用を一律に制限するのではなく、リスクを継続的に把握・評価しながら、安全なAI活用につなげていくことが重要です。


参考情報

公開日:2025年4月16日
更新日:2026年8月26日

編集責任:木下


BBSecでは

AIの利用拡大に伴い、企業を取り巻くIT環境やセキュリティリスクも変化しています。公開IT資産の把握、脆弱性の確認、セキュリティ対策の有効性検証など、自社の課題に応じた対策をご相談ください。


Security Serviceへのリンクバナー画像
BBsecコーポレートサイトへのリンクバナー画像
セキュリティ緊急対応のバナー画像

Security NEWS TOPに戻る
バックナンバー TOPに戻る