生成AIの進化により、サイバー攻撃と防御の双方でAI活用が加速する現代。前編では、AIがもたらす脅威の変化と、企業が直面する新たなリスク構造について、上野 宣氏に解説いただきました。

後編では、こうした環境変化を踏まえ、企業はどのようにセキュリティ戦略を再構築すべきか、その具体的な方向性と実践のポイントについて掘り下げます。

前編「AIが変える攻撃の現状と、防御側AI活用のリアル」はこちら

AI時代に増えるリスクと、経営が取るべきアクション

企業が直面するAIセキュリティリスク

AIを活用する企業は、攻撃の標的になるだけでなく、自社が導入したAIがリスクの起点になる可能性も抱えます。ここで重要なのは、「AIを守る」という視点です。 AIは、データアクセスを統合し、業務フローに深く入り込みます。言い換えると、AIは便利なツールであると同時に、新たなリスクになり得ます。

以下では、AI活用が進む現場で起きやすいリスクを、実務の観点で整理します。

生成AI利用による情報漏えい・シャドーAI

現場が便利さを優先して、個人アカウントの生成AIに機密情報を入力してしまう、いわゆるシャドーAIは、シャドーITと同じ構図で広がります。入力データの扱い（学習に使われるのか、保存されるのか）、ログに残るのか、社外に送信されるのか。利用ルールと技術的な制御がないと、情報資産の漏えいに繋がる可能性があります。

対策は利用を禁止することではありません。ほとんどの従業員は悪意を持ってシャドーAIをするわけではなく、ビジネスに活用しようとしているだけです。現場の生産性要求は止められないからこそ、次のような使えるガードレールが必要です。

• 会社が認めるAI利用チャネル（法人契約、社内AI、承認済みツール）を用意する
• 機密分類に応じて「入力禁止」「要マスキング」「要承認」などを定義する
• DLP、プロキシ、CASB等で、持ち出し・入力を技術的に抑止する（可能な範囲で）
• 利用ログを残し、例外管理を行う

プロンプトインジェクション／RAG汚染：AIアプリ特有の攻撃面

社内ナレッジ検索（RAG）やAIチャットボットを業務に組み込むと、従来のWeb脆弱性とは別の攻撃面が生まれます。

• プロンプトインジェクション：悪意ある指示でAIの挙動を変え、機密を引き出す
• RAG汚染：参照ドキュメントに誘導文を仕込み、誤誘導・情報漏えいを誘発
• 権限モデルの破綻：AIが見えてはいけない情報を横断的に回答してしまう
• ツール連携の悪用：AIに「メール送信」「DB更新」「ワークフロー実行」などを許すと、誤操作や悪用の影響範囲が一気に広がる

こうしたリスクは、アプリの仕様・権限・データ設計の問題として現れるため、情シス・開発・セキュリティが一体で設計し直す必要があります。

学習データ汚染・モデル改ざん・信頼できない出力

モデルそのもの、あるいは学習・評価・運用のパイプラインが攻撃されると、判断の信頼性が崩れます。たとえば、学習データやナレッジに悪意ある情報が混ざる、モデルの設定が変えられる、評価（テスト）が形骸化する。こうした問題は、結果として「AIが間違った結論を自信満々に出す」形で表面化します。業務に組み込むほど、誤りは事故になります。

• 重要業務ほど根拠（参照元）を提示できる設計が必要
• 出力の正しさを検証できない領域では人の確認を前提にする
• 仕様変更・データ更新・モデル更新は変更管理（レビュー、承認、ロールバック）に乗せる

モデル盗難・データ推定・API悪用

外部APIや自社モデルを提供する側になると、今度は「モデルを盗まれる」「APIを乱用される」「出力から学習データが推定される」といった論点が生まれます。ここでは、認証・認可、レート制限、監査ログ、鍵管理、テナント分離など、従来のAPIセキュリティの要諦がそのまま効いてきます。

ガバナンス・法令・説明責任

AIは出力が意思決定に影響するため、誤りがビジネス事故に直結します。個人情報・機密情報・著作権・差別・説明責任など、論点は多岐にわたります。

AIの利用に関する法規制も急速に整備されつつあり、2024年8月にはEUでArtificial Intelligence Act（欧州AI規制法）が施行されました。違反時の罰則は最大で全世界年間売上高の7%または3,500ユーロと非常に厳しいものです。

海外取引がある企業であるほど、規制動向を踏まえたガバナンスが必要になります。重要なのは、法令対応を法務任せにせず、セキュリティと一体で運用設計に落とすことです。

経営層・CISOが取るべきアクション：AIセキュリティを“経営課題”にする

AI時代のセキュリティ戦略は、現場の頑張りだけでは成立しません。経営が意思決定すべきポイントは、概ね次の3つに分けられます。

方針（何を守り、どこまで許容するか）

• AIの利用目的と禁止事項を明文化（機密分類と紐付ける）
• 人が最終責任を持つ領域を定義（例：与信、採用、重要判断、法的判断）
• 委託・SaaS・外部APIの利用条件（データの持ち出し、学習利用、ログ保管、保存期間）
• 例外申請の道を用意し、現場がこっそり使う状況を減らす

体制（誰が意思決定し、運用を回すか）

• AIガバナンス（責任者・審査プロセス・例外管理）の設置
• CISO/CSIRT/SOCとAI開発・運用の接続（棚卸し・脅威モデリング・運用手順）
• インシデント対応計画の更新（AI由来の誤回答、漏えい、改ざん、なりすましを含める）
• 監査・品質・法務・広報も巻き込み、事故時の説明責任を担保する

実装（どう測り、どう改善するか）

• AIアプリのセキュリティ評価（権限設計、ログ、監査、耐プロンプト攻撃、データ境界）
• 継続的なテストと監視（レッドチーミング、監視指標、評価データ更新）
• 教育の刷新（AI時代のフィッシングやディープフェイクを含む訓練）
• サードパーティ評価（ベンダーのデータ取り扱い、透明性、監査可能性）

ここで、経営層・CISOが最初の一手として取り組みやすいのが、「AI利用の棚卸し」です。「誰が、どのAIを、何の業務で、どんなデータを扱っているか」を把握できない限り、リスク評価も投資判断もできません。

棚卸しの結果をもとに、次のような優先順位付けを行います。

• 高優先：機密データ×外部AI×自動実行（ツール連携）
  事故時の影響が大きく、設計変更が必要になりやすい領域
• 中優先：社内AI×業務支援（要約・検索）
  ルールと権限、ログ、監査で事故を起こしにくい設計にする
• 低優先：公開情報×個人利用（学習目的）
  教育・ガイドライン中心でコントロールする

「AI導入＝生産性向上」の議論は進みやすい一方で、「AI導入＝新しいリスクの導入」という議論は後回しになりがちです。だからこそ、経営とCISOが同じテーブルで、“AIで守る”と“AIを守る”を同時に設計することが、競争力に直結します。

CISO/経営が迷わないための90日ロードマップ

AIセキュリティはやることが多く見えますが、最初から完璧を目指すと止まります。ここでは、取り掛かりやすく、成果が見えやすい90日プランを例示します。

• 0〜30日：現状把握とルール整備（止血）
  • AI利用の棚卸し（部署・用途・データ種類・外部/社内）
  • 重要データの分類と、AI入力可否ルール（暫定版でもよい）
  • 決裁・送金・機密共有の“なりすまし耐性”点検（電話確認、二要素、手順の固定化）

• 31〜60日：AIアプリの設計レビューと運用の接続（再発防止）
  • RAG/チャットボット等の権限設計レビュー（最小権限、データ境界、回答制御）
  • 監査ログ設計（入力・参照・出力・実行の記録）
  • SOC/CSIRTがAI起因の事故を扱えるよう、手順と訓練シナリオを更新

• 61〜90日：継続改善の仕組み化
  • 定期評価（レッドチーミング/診断/演習）の計画化
  • KPIの設定（例：棚卸しカバー率、AI入力ルール遵守率、初動時間、復旧時間）
  • ベンダー・委託先に対する要求事項（データ取扱い、監査、透明性）のテンプレ化

AIは導入のスピードが速い分、暫定のガードレールを早く敷き、走りながら改善する発想が現実的です。

技術責任者向け AIアプリを“事故らせない”ための設計ポイント

CTO/開発責任者の立場では、「AIを入れるかどうか」より「AIをどう組み込むか」が勝負になります。特に事故を起こしやすい論点は、次の5つです。

1. 権限とデータ境界：AIの回答が横断参照にならないよう、検索・参照段階でアクセス制御する
2. 根拠提示：可能な限り参照元（文書ID、URL、更新日時）を出し、検証可能性を担保する
3. 入力と出力の制御：機密らしき文字列のマスキング、出力フィルタ、禁止操作の明確化
4. ツール連携の安全化：実行系は二重確認・最小権限・レート制限・停止スイッチを前提にする
5. 監査ログと再現性：入力・参照・出力・実行を記録し、事故時に再現できるようにする

便利さは機能追加で得られますが、信頼性は設計でしか得られません。AIを業務に組み込むほど、セキュリティは後付けでは間に合わなくなります。

次の5年で起きること、起きないこと

今後数年で見えているのは、次の潮流です。

• 攻撃の自動化はさらに進む：偵察から侵入、横展開まで“部分最適”が積み上がる
• 防御は「検知」から「耐性設計」へ：侵入前提で、権限・ネットワーク・データの分離を徹底する
• AIセキュリティが専門領域として独立：従来のAppSec/CloudSecに、AI特有の評価観点が加わる
• 規制・顧客要求が増える：説明責任、監査、データ管理が調達条件になる
• 人材の取り合いが起きる：AI×セキュリティ×事業の三領域を理解する人材が不足する

AI関連のセキュリティは、単一の製品カテゴリに収束しにくい領域です。LLMの挙動評価、プロンプト攻撃耐性、データ境界、監査ログ、運用プロセスなど論点が横断的だからです。そのため今後は、ツール導入に加えて、第三者による評価（診断・レビュー・レッドチーミング）と、運用を回す支援（監視・手順整備）がセットで求められる場面が増えていくでしょう。

一方で、変わらないものもあります。資産管理、脆弱性管理、特権管理、バックアップ、監視、訓練などのいわゆる基本は、AI時代でも依然として高い効果を示します。AIがさまざまな能力を拡張してくれる機能を提供するため、基本が弱い組織ほど被害も増幅されます。

まとめ：これからのセキュリティに携わる人へ

攻撃も防御もAI時代に突入し、企業は「AIで守る」だけでなく「AIを守る」視点を持つことが不可欠になりました。重要なのは、AIを恐れることでも、AIに依存することでもありません。現場の運用と、経営の意思決定をつなぎ、継続的に改善できる仕組みを作ることです。

そして、これからセキュリティ業界に携わりたい人、すでに現場で経験を積みステップアップしたい人に伝えたいのは、AIが広がるほど「基礎」が価値を増すという事実です。 攻撃者がAIで効率化するほど、守る側には、設計・運用・検証の地味な力が求められます。AIは学習すれば追いつけますが、現場の勘所である何を優先し、どこに投資し、どう回すかは、積み上げでしか身につきません。

最後に、AI時代のセキュリティを一言で表すなら、「スピードの時代」です。攻撃のスピードが上がる以上、防御も“検知してから考える”では遅れます。 平時からの設計（境界・権限・ログ）と、迷わず動ける手順（初動・連絡・隔離・復旧）が、被害の差になります。AIはそれを加速してくれる道具にも、穴を広げる要因にもなります。だからこそ、今このタイミングで戦略を更新する価値があります。

付録：企業が「今すぐ」着手できるチェックリスト

AI利用の棚卸し（ガバナンスの入口）

• 生成AIの利用実態（シャドーAI）を把握できているか
• どの部署が、どのAI（外部/社内）を、どの業務に使っているか一覧化できているか
• 取り扱うデータ（機密/個人情報/顧客情報/ソースコード等）を分類できているか
• 外部AIに投入するデータのマスキング・匿名化・要約など、代替手段を用意しているか

AIアプリ（RAG/チャットボット等）の設計・運用

• 権限（誰が何にアクセスできるか）をAIの回答レベルまで落とし込めているか
• 参照データの取り込み経路は管理され、改ざん検知やレビューがあるか
• 監査ログ（誰が何を聞き、何を参照し、何を出力したか）を残せているか
• ツール連携（実行系）を許す場合、二重確認・最小権限・停止スイッチがあるか

AI時代の“人”への対策

• フィッシング訓練はAI時代（自然文・音声・偽装）に合わせて更新したか
• なりすまし対策（決裁・送金・機密共有の手順）を見直したか
• インシデント対応訓練で「深夜の役員なりすまし」「AIの誤回答による事故」などを扱っているか

ブロードバンドセキュリティからのご案内

AI活用が進むほど、攻撃面は「システム」だけでなく「データ」「運用」「人」に広がります。まずは現状の棚卸しと、優先順位付けが重要です。ブロードバンドセキュリティ（BBSec）では、脆弱性診断（Web/アプリ/クラウド）に加え、運用設計・監視・セキュリティ運用支援まで、状況に合わせてワンストップでご支援可能です。必要に応じて、AI導入・AIアプリ運用に伴うリスクの洗い出しや、運用プロセスの整備もご相談いただけます。

―END―
【前編】「AIが変える攻撃の現状と、防御側AI活用のリアル」はこちら

執筆：上野 宣 氏
株式会社トライコーダ代表取締役
奈良先端科学技術大学院大学で山口英教授のもと情報セキュリティを専攻、2006年にサイバーセキュリティ専門会社の株式会社トライコーダを設立。2019年より株式会社Flatt Security、2022年よりグローバルセキュリティエキスパート株式会社、2025年より株式会社ブロードバンドセキュリティの社外取締役を務める。あわせて、OWASP Japan代表、一般社団法人セキュリティ・キャンプ協議会理事、NICT CYDER推進委員などを歴任し、教育・人材育成分野にも尽力。情報経営イノベーション専門職大学（iU）客員教員。

編集責任：木下・彦坂

スペシャル記事 TOPに戻る
バックナンバー TOPに戻る

年二回発行されるセキュリティトレンドの詳細レポート。BBSecで行われた診断の統計データも掲載。

サービスに関する疑問や質問はこちらからお気軽にお問合せください。