生成AIの進化により、サイバー攻撃と防御の双方でAI活用が加速する現代。前編では、AIがもたらす脅威の変化と、企業が直面する新たなリスク構造について、上野 宣氏に解説いただきました。
後編では、こうした環境変化を踏まえ、企業はどのようにセキュリティ戦略を再構築すべきか、その具体的な方向性と実践のポイントについて掘り下げます。
前編「AIが変える攻撃の現状と、防御側AI活用のリアル」はこちら
AI時代に増えるリスクと、経営が取るべきアクション
contents
企業が直面するAIセキュリティリスク
AIを活用する企業は、攻撃の標的になるだけでなく、自社が導入したAIがリスクの起点になる可能性も抱えます。ここで重要なのは、「AIを守る」という視点です。 AIは、データアクセスを統合し、業務フローに深く入り込みます。言い換えると、AIは便利なツールであると同時に、新たなリスクになり得ます。
以下では、AI活用が進む現場で起きやすいリスクを、実務の観点で整理します。
生成AI利用による情報漏えい・シャドーAI
現場が便利さを優先して、個人アカウントの生成AIに機密情報を入力してしまう、いわゆるシャドーAIは、シャドーITと同じ構図で広がります。入力データの扱い（学習に使われるのか、保存されるのか）、ログに残るのか、社外に送信されるのか。利用ルールと技術的な制御がないと、情報資産の漏えいに繋がる可能性があります。
対策は利用を禁止することではありません。ほとんどの従業員は悪意を持ってシャドーAIをするわけではなく、ビジネスに活用しようとしているだけです。現場の生産性要求は止められないからこそ、次のような使えるガードレールが必要です。
- 会社が認めるAI利用チャネル（法人契約、社内AI、承認済みツール）を用意する
- 機密分類に応じて「入力禁止」「要マスキング」「要承認」などを定義する
- DLP、プロキシ、CASB等で、持ち出し・入力を技術的に抑止する（可能な範囲で）
- 利用ログを残し、例外管理を行う
プロンプトインジェクション／RAG汚染：AIアプリ特有の攻撃面
社内ナレッジ検索（RAG）やAIチャットボットを業務に組み込むと、従来のWeb脆弱性とは別の攻撃面が生まれます。
- プロンプトインジェクション：悪意ある指示でAIの挙動を変え、機密を引き出す
- RAG汚染：参照ドキュメントに誘導文を仕込み、誤誘導・情報漏えいを誘発
- 権限モデルの破綻：AIが見えてはいけない情報を横断的に回答してしまう
- ツール連携の悪用：AIに「メール送信」「DB更新」「ワークフロー実行」などを許すと、誤操作や悪用の影響範囲が一気に広がる
こうしたリスクは、アプリの仕様・権限・データ設計の問題として現れるため、情シス・開発・セキュリティが一体で設計し直す必要があります。
学習データ汚染・モデル改ざん・信頼できない出力
モデルそのもの、あるいは学習・評価・運用のパイプラインが攻撃されると、判断の信頼性が崩れます。たとえば、学習データやナレッジに悪意ある情報が混ざる、モデルの設定が変えられる、評価（テスト）が形骸化する。こうした問題は、結果として「AIが間違った結論を自信満々に出す」形で表面化します。業務に組み込むほど、誤りは事故になります。
- 重要業務ほど根拠（参照元）を提示できる設計が必要
- 出力の正しさを検証できない領域では人の確認を前提にする
- 仕様変更・データ更新・モデル更新は変更管理（レビュー、承認、ロールバック）に乗せる
モデル盗難・データ推定・API悪用
外部APIや自社モデルを提供する側になると、今度は「モデルを盗まれる」「APIを乱用される」「出力から学習データが推定される」といった論点が生まれます。ここでは、認証・認可、レート制限、監査ログ、鍵管理、テナント分離など、従来のAPIセキュリティの要諦がそのまま効いてきます。
ガバナンス・法令・説明責任
AIは出力が意思決定に影響するため、誤りがビジネス事故に直結します。個人情報・機密情報・著作権・差別・説明責任など、論点は多岐にわたります。
AIの利用に関する法規制も急速に整備されつつあり、2024年8月にはEUでArtificial Intelligence Act（欧州AI規制法）が施行されました。違反時の罰則は最大で全世界年間売上高の7%または3,500ユーロと非常に厳しいものです。
海外取引がある企業であるほど、規制動向を踏まえたガバナンスが必要になります。重要なのは、法令対応を法務任せにせず、セキュリティと一体で運用設計に落とすことです。
経営層・CISOが取るべきアクション：AIセキュリティを“経営課題”にする
AI時代のセキュリティ戦略は、現場の頑張りだけでは成立しません。経営が意思決定すべきポイントは、概ね次の3つに分けられます。
方針（何を守り、どこまで許容するか）
- AIの利用目的と禁止事項を明文化（機密分類と紐付ける）
- 人が最終責任を持つ領域を定義（例：与信、採用、重要判断、法的判断）
- 委託・SaaS・外部APIの利用条件（データの持ち出し、学習利用、ログ保管、保存期間）
- 例外申請の道を用意し、現場がこっそり使う状況を減らす
体制（誰が意思決定し、運用を回すか）
- AIガバナンス（責任者・審査プロセス・例外管理）の設置
- CISO/CSIRT/SOCとAI開発・運用の接続（棚卸し・脅威モデリング・運用手順）
- インシデント対応計画の更新（AI由来の誤回答、漏えい、改ざん、なりすましを含める）
- 監査・品質・法務・広報も巻き込み、事故時の説明責任を担保する
実装（どう測り、どう改善するか）
- AIアプリのセキュリティ評価（権限設計、ログ、監査、耐プロンプト攻撃、データ境界）
- 継続的なテストと監視（レッドチーミング、監視指標、評価データ更新）
- 教育の刷新（AI時代のフィッシングやディープフェイクを含む訓練）
- サードパーティ評価（ベンダーのデータ取り扱い、透明性、監査可能性）
ここで、経営層・CISOが最初の一手として取り組みやすいのが、「AI利用の棚卸し」です。「誰が、どのAIを、何の業務で、どんなデータを扱っているか」を把握できない限り、リスク評価も投資判断もできません。
棚卸しの結果をもとに、次のような優先順位付けを行います。
- 高優先：機密データ×外部AI×自動実行（ツール連携）
事故時の影響が大きく、設計変更が必要になりやすい領域 - 中優先：社内AI×業務支援（要約・検索）
ルールと権限、ログ、監査で事故を起こしにくい設計にする - 低優先：公開情報×個人利用（学習目的）
教育・ガイドライン中心でコントロールする
「AI導入＝生産性向上」の議論は進みやすい一方で、「AI導入＝新しいリスクの導入」という議論は後回しになりがちです。だからこそ、経営とCISOが同じテーブルで、“AIで守る”と“AIを守る”を同時に設計することが、競争力に直結します。
CISO/経営が迷わないための90日ロードマップ
AIセキュリティはやることが多く見えますが、最初から完璧を目指すと止まります。ここでは、取り掛かりやすく、成果が見えやすい90日プランを例示します。
- 0〜30日：現状把握とルール整備（止血）
- AI利用の棚卸し（部署・用途・データ種類・外部/社内）
- 重要データの分類と、AI入力可否ルール（暫定版でもよい）
- 決裁・送金・機密共有の“なりすまし耐性”点検（電話確認、二要素、手順の固定化）
- 31〜60日：AIアプリの設計レビューと運用の接続（再発防止）
- RAG/チャットボット等の権限設計レビュー（最小権限、データ境界、回答制御）
- 監査ログ設計（入力・参照・出力・実行の記録）
- SOC/CSIRTがAI起因の事故を扱えるよう、手順と訓練シナリオを更新
- 61〜90日：継続改善の仕組み化
- 定期評価（レッドチーミング/診断/演習）の計画化
- KPIの設定（例：棚卸しカバー率、AI入力ルール遵守率、初動時間、復旧時間）
- ベンダー・委託先に対する要求事項（データ取扱い、監査、透明性）のテンプレ化
AIは導入のスピードが速い分、暫定のガードレールを早く敷き、走りながら改善する発想が現実的です。
技術責任者向け AIアプリを“事故らせない”ための設計ポイント
CTO/開発責任者の立場では、「AIを入れるかどうか」より「AIをどう組み込むか」が勝負になります。特に事故を起こしやすい論点は、次の5つです。
- 権限とデータ境界：AIの回答が横断参照にならないよう、検索・参照段階でアクセス制御する
- 根拠提示：可能な限り参照元（文書ID、URL、更新日時）を出し、検証可能性を担保する
- 入力と出力の制御：機密らしき文字列のマスキング、出力フィルタ、禁止操作の明確化
- ツール連携の安全化：実行系は二重確認・最小権限・レート制限・停止スイッチを前提にする
- 監査ログと再現性：入力・参照・出力・実行を記録し、事故時に再現できるようにする
便利さは機能追加で得られますが、信頼性は設計でしか得られません。AIを業務に組み込むほど、セキュリティは後付けでは間に合わなくなります。
次の5年で起きること、起きないこと
今後数年で見えているのは、次の潮流です。
- 攻撃の自動化はさらに進む：偵察から侵入、横展開まで“部分最適”が積み上がる
- 防御は「検知」から「耐性設計」へ：侵入前提で、権限・ネットワーク・データの分離を徹底する
- AIセキュリティが専門領域として独立：従来のAppSec/CloudSecに、AI特有の評価観点が加わる
- 規制・顧客要求が増える：説明責任、監査、データ管理が調達条件になる
- 人材の取り合いが起きる：AI×セキュリティ×事業の三領域を理解する人材が不足する
AI関連のセキュリティは、単一の製品カテゴリに収束しにくい領域です。LLMの挙動評価、プロンプト攻撃耐性、データ境界、監査ログ、運用プロセスなど論点が横断的だからです。そのため今後は、ツール導入に加えて、第三者による評価（診断・レビュー・レッドチーミング）と、運用を回す支援（監視・手順整備）がセットで求められる場面が増えていくでしょう。
一方で、変わらないものもあります。資産管理、脆弱性管理、特権管理、バックアップ、監視、訓練などのいわゆる基本は、AI時代でも依然として高い効果を示します。AIがさまざまな能力を拡張してくれる機能を提供するため、基本が弱い組織ほど被害も増幅されます。
まとめ：これからのセキュリティに携わる人へ
攻撃も防御もAI時代に突入し、企業は「AIで守る」だけでなく「AIを守る」視点を持つことが不可欠になりました。重要なのは、AIを恐れることでも、AIに依存することでもありません。現場の運用と、経営の意思決定をつなぎ、継続的に改善できる仕組みを作ることです。
そして、これからセキュリティ業界に携わりたい人、すでに現場で経験を積みステップアップしたい人に伝えたいのは、AIが広がるほど「基礎」が価値を増すという事実です。 攻撃者がAIで効率化するほど、守る側には、設計・運用・検証の地味な力が求められます。AIは学習すれば追いつけますが、現場の勘所である何を優先し、どこに投資し、どう回すかは、積み上げでしか身につきません。
最後に、AI時代のセキュリティを一言で表すなら、「スピードの時代」です。攻撃のスピードが上がる以上、防御も“検知してから考える”では遅れます。 平時からの設計（境界・権限・ログ）と、迷わず動ける手順（初動・連絡・隔離・復旧）が、被害の差になります。AIはそれを加速してくれる道具にも、穴を広げる要因にもなります。だからこそ、今このタイミングで戦略を更新する価値があります。
付録：企業が「今すぐ」着手できるチェックリスト
AI利用の棚卸し（ガバナンスの入口）
- 生成AIの利用実態（シャドーAI）を把握できているか
- どの部署が、どのAI（外部/社内）を、どの業務に使っているか一覧化できているか
- 取り扱うデータ（機密/個人情報/顧客情報/ソースコード等）を分類できているか
- 外部AIに投入するデータのマスキング・匿名化・要約など、代替手段を用意しているか
AIアプリ（RAG/チャットボット等）の設計・運用
- 権限（誰が何にアクセスできるか）をAIの回答レベルまで落とし込めているか
- 参照データの取り込み経路は管理され、改ざん検知やレビューがあるか
- 監査ログ（誰が何を聞き、何を参照し、何を出力したか）を残せているか
- ツール連携（実行系）を許す場合、二重確認・最小権限・停止スイッチがあるか
AI時代の“人”への対策
- フィッシング訓練はAI時代（自然文・音声・偽装）に合わせて更新したか
- なりすまし対策（決裁・送金・機密共有の手順）を見直したか
- インシデント対応訓練で「深夜の役員なりすまし」「AIの誤回答による事故」などを扱っているか
ブロードバンドセキュリティからのご案内
AI活用が進むほど、攻撃面は「システム」だけでなく「データ」「運用」「人」に広がります。まずは現状の棚卸しと、優先順位付けが重要です。ブロードバンドセキュリティ（BBSec）では、脆弱性診断（Web/アプリ/クラウド）に加え、運用設計・監視・セキュリティ運用支援まで、状況に合わせてワンストップでご支援可能です。必要に応じて、AI導入・AIアプリ運用に伴うリスクの洗い出しや、運用プロセスの整備もご相談いただけます。
―END―
【前編】「AIが変える攻撃の現状と、防御側AI活用のリアル」はこちら
執筆：上野 宣 氏
株式会社トライコーダ代表取締役
2000年にサイトデザイン株式会社へ入社後、ゼロエクス株式会社を経て取締役に就任。その後、インプルーブテクノロジーズ株式会社を経て、2006年に株式会社トライコーダを設立し、代表取締役に就任（現任）。2019年より株式会社Flatt Security、2022年よりグローバルセキュリティエキスパート株式会社の社外取締役を務める。あわせて、OWASP Japan代表、一般社団法人セキュリティ・キャンプ協議会理事、NICT CYDER推進委員などを歴任し、教育・人材育成分野にも尽力。情報経営イノベーション専門職大学（iU）客員教員。
編集責任：木下・彦坂
年二回発行されるセキュリティトレンドの詳細レポート。BBSecで行われた診断の統計データも掲載。
サービスに関する疑問や質問はこちらからお気軽にお問合せください。
