生成AIは、文章作成や要約、翻訳、情報収集、プログラミング支援など、さまざまな業務で利用されるようになりました。業務を効率化できる一方で、機密情報の漏洩や誤情報、著作権など、新たなリスクへの対応も必要です。
さらに、生成AIを利用するのは企業や一般のユーザーだけではありません。攻撃者がフィッシングメールの作成や攻撃に必要な情報収集などに生成AIを悪用することも考えられます。生成AIにはどのようなリスクがあり、企業はどう向き合えばよいのでしょうか。本記事では、企業による利用とサイバー攻撃への悪用という両面から、生成AIのリスクと対策を考えます。
生成AIの利用リスクだけでなく、AI・LLMを取り巻く脅威や企業に求められる対策の全体像については、「AIセキュリティとは？生成AI時代に企業が知っておくべきリスクと対策」で詳しく紹介しています。
生成AIの普及で広がる企業のリスク
生成AIは、一部の技術者や専門家だけが利用するものではなくなりました。メールや資料の作成、文章の要約、翻訳、アイデア出し、プログラムコードの作成・確認など、日常的な業務のさまざまな場面で活用されています。利用できる場面が広がるほど、生成AIが扱う情報も重要になります。
例えば、「文章を考えてもらう」だけであれば、入力するのは簡単な指示だけかもしれません。しかし、実際の業務では、顧客から届いたメールを貼り付けて返信を作成したり、会議録や契約書をアップロードして要約したり、ソースコードを入力して問題点を確認したりすることも考えられます。こうした使い方は便利ですが、生成AIに渡す情報の中に機密情報や個人情報などが含まれていれば、新たな情報管理の問題が生じます。
また、注意が必要なのは入力する情報だけではありません。生成AIが出力した内容が正しいとは限らず、その情報をどのように利用するかについても利用者側の判断が必要です。生成AIが業務に深く入り込むほど、「何を入力するのか」「何が出力されたのか」「その結果を何に使うのか」を考える必要性も高まっているのです。
企業が生成AIを利用する際のリスクは、大きく「入力」と「出力」に分けて考えると整理しやすくなります。
| 場面 | 主なリスク |
|---|---|
| AIへの入力 | 機密情報・個人情報の漏洩、著作物・知的財産の取り扱い |
| AIからの出力 | 誤情報・ハルシネーション、著作権等の問題、AIへの過度な信頼 |
| 組織での利用 | シャドーAI、利用状況を把握できないリスク |
| 外部からの脅威 | 攻撃者による生成AIの悪用 |
生成AIに何を入力するかだけを管理しても、出力された情報を無条件に信用してしまえば別の問題が生じます。また、社内ルールを整備していても、従業員が管理外の生成AIを利用していれば、企業としてリスクを把握できません。
さらに、自社が生成AIを利用するリスクだけでなく、攻撃者が生成AIを利用することでサイバー攻撃が効率化される可能性についても考えておく必要があります。
生成AIに機密情報を入力するとどうなる？
生成AIの企業利用で特に注意したいのが、機密情報や個人情報の取り扱いです。例えば、次のような使い方は業務効率化のために自然に行われる可能性があります。
- 顧客から届いたメールを貼り付けて返信文を作成する
- 会議録をアップロードして要点をまとめる
- 契約書を読み込ませて内容を要約する
- ソースコードを入力してエラーの原因を調べる
- 社内資料を読み込ませて新しい資料を作成する
しかし、そこに顧客情報や個人情報、社外秘情報、未公開情報などが含まれていれば、企業が管理すべき情報を外部の生成AIサービスへ渡すことになります。
「生成AIに入力するとすべて学習される」は正しい？
生成AIへの情報入力について、「入力した情報はすべてAIの学習に使われる」と説明されることがあります。しかし、必ずしも一律にそうなるわけではありません。入力データが保存されるのか、モデルの学習やサービス改善に利用されるのかといった条件は、サービスや契約プラン、設定などによって異なります。そのため、「生成AIだから機密情報を入力してはいけない」という単純な判断だけではなく、自社が利用するサービスで入力データがどのように取り扱われるのかを確認することが重要です。
企業では、利用規約やプライバシーポリシー、データの保存・利用条件などを確認したうえで、業務利用を認めるサービスを選定する必要があります。また、入力してよい情報と禁止する情報を具体的に定め、従業員に周知することも重要です。「機密情報は禁止」とするだけでなく、顧客情報、個人情報、社外秘資料、認証情報など、自社の業務に即した例を示すと判断しやすくなります。
生成AIと著作権で注意すべきこと
生成AIと著作権の問題についても、「AIが作ったものを使ってよいか」という生成物だけに目を向けるのではなく、AIへ何を入力するかという点から考える必要があります。
他人の文章や画像を生成AIに入力してよいのか
生成AIを利用する際、Web上の文章や画像、顧客・取引先から提供された資料などを入力することがあります。しかし、こうした情報には著作権のほか、契約上の秘密保持義務や利用条件などが関係する場合があります。「インターネットで公開されている」「自社が保有している」という理由だけで、どのような使い方でも認められるとは限りません。業務で生成AIへ情報を入力する場合は、その情報をAIサービスへ提供して問題がないかという観点からも確認する必要があります。
AIが作った文章や画像なら自由に使えるのか
生成AIが作成した文章や画像、プログラムコードなどについても、無条件に自由に利用できるとは限りません。生成物が既存の著作物と類似していたり、第三者の権利に関係する内容を含んでいたりする可能性があります。また、利用する生成AIサービスによって生成物に関する利用条件が異なる場合もあります。
特に、Webサイトや広告、製品、顧客向け資料など外部に公開するコンテンツに生成AIを利用する場合には、人による確認を行い、用途に応じて権利関係についても確認することが重要です。生成AIの利便性が高まるほど、「AIが作ったから問題ない」と考えず、最終的にその生成物を利用する側が確認するという意識が必要になります。
生成AIは「もっともらしく間違える」
生成AIのもう一つの特徴が、必ずしも正しい情報を出力するとは限らないことです。生成AIは、事実とは異なる情報を、自然で説得力のある文章として生成する場合があります。このような現象は「ハルシネーション」と呼ばれます。
例えば、
- 存在しない事例を紹介する
- 誤った数値を示す
- 実在しない書籍や論文、Webページを出典として挙げる
- 古い情報を現在の情報として回答する
- 質問の前提を誤って解釈したまま回答する
といったことが考えられます。
問題は「間違いが間違いらしく見えない」こと
生成AIの誤情報で注意したいのは、単にAIが間違えることだけではありません。回答が自然な文章で生成されるため、利用者が誤りに気づかず、「AIが回答したのだから正しいだろう」と信用してしまう可能性があります。例えば、存在しない制度や統計を社内資料に記載したり、誤った内容を顧客への回答に使用したりすれば、企業の信用にも影響しかねません。
そのため、生成AIを検索エンジンや一次情報そのもののように扱うことは避ける必要があります。重要な情報については、公的機関や企業の公式情報、原典などを確認します。また、顧客への回答や外部公開資料、法務・財務・セキュリティなど重要な判断に利用する場合には、人によるレビューを組み込むことが必要です。
生成AIは判断を代替するものではなく、情報整理や作業を支援するツールとして使うことが基本となります。
生成AIはサイバー攻撃にも使われる
ここまでは企業が生成AIを「使う側」のリスクを見てきました。しかし、生成AIを利用できるのは企業や一般ユーザーだけではありません。攻撃者にとっても、生成AIは情報収集や文章作成、プログラミングなどを支援するツールになり得ます。
フィッシングメール作成のハードルを下げる
フィッシング攻撃では、受信者をだまして偽サイトへ誘導したり、マルウェアを実行させたりするためのメールやメッセージが利用されます。
生成AIを使えば、自然な文章の作成や翻訳、文章の修正などを短時間で行うことができます。攻撃対象の業種や立場に合わせた文章を作成する作業にも利用できるため、攻撃者によるコンテンツ作成の負担を減らす可能性があります。
従来、不自然な日本語や文法上の誤りは不審なメールを見分ける手掛かりの一つでした。しかし、生成AIによって自然な文章を容易に作成できるようになれば、文章の不自然さだけでフィッシングを見抜くことはさらに難しくなります。
マルウェアや攻撃コードの作成にも悪用されるのか
主要な生成AIサービスでは、有害なコンテンツやサイバー攻撃への悪用を防ぐための安全対策が講じられています。それでも、生成AIがプログラムコードの作成や修正、技術情報の整理などに利用できる以上、攻撃者が攻撃準備や作業の一部を効率化するために利用する可能性はあります。ここで重要なのは、「生成AIが登場したことで、これまで存在しなかったサイバー攻撃が突然生まれた」と捉えることではありません。
生成AIでサイバー攻撃はどう変わるのか
生成AIがサイバー攻撃に与える大きな影響の一つは、既存の攻撃を「速く」「大量に」「巧妙に」実行するための支援に使われる可能性があることです。
例えば、攻撃対象に関する情報収集、フィッシングメールの文章作成、翻訳、プログラムコードの作成支援など、従来は攻撃者自身が時間をかけて行っていた作業の一部を効率化できます。これは防御する企業側にとっても重要な変化です。これまでと同じ種類の攻撃であっても、攻撃者が試行できる量や速度が増えれば、企業が直面する脅威も変化します。
生成AI時代のセキュリティを考える際には、「AIそのものからどう情報を守るか」だけでなく、AIを利用して効率化される既存のサイバー攻撃にどう備えるかという視点も必要です。
生成AI時代でも基本的なセキュリティ対策は重要
生成AIによってサイバー攻撃が効率化・巧妙化する可能性があるからといって、企業に求められるセキュリティ対策がすべて新しいものに変わるわけではありません。フィッシングやマルウェア、不正アクセスなど、生成AIが悪用される可能性のある攻撃の多くは、以前から存在する攻撃手法です。そのため、生成AI時代においても、基本的なセキュリティ対策を継続することが重要です。
基本的なセキュリティ対策の例
特にフィッシングについては、生成AIによって自然な文章を作成しやすくなることで、「日本語が不自然だから怪しい」といった従来の見分け方だけでは判断が難しくなる可能性があります。送信元やURL、要求されている操作などを確認し、文章の自然さだけでメールの安全性を判断しないことが大切です。
生成AIによる脅威を特別なものとして切り離して考えるのではなく、従来のセキュリティ対策を着実に行ったうえで、生成AIの利用や悪用によって生じる新たなリスクへの対策を加えていくことが基本となります。
「生成AIは危険だから禁止」でよいのか
ここまで生成AIのさまざまなリスクを見てきました。それでは、企業は生成AIの利用を禁止すれば安全なのでしょうか。生成AIを利用しなければ回避できるリスクがあるのは確かです。しかし、利用禁止だけで問題が解決するとは限りません。
禁止だけでは「シャドーAI」につながる可能性も
組織が許可・把握していない生成AIサービスを従業員が業務に利用することは、「シャドーAI」と呼ばれます。例えば、会社では生成AIの利用を認めていなくても、従業員が個人アカウントで生成AIへアクセスし、業務資料を要約しているかもしれません。
この場合、企業側では、
- 誰がどの生成AIを利用しているのか
- どのような情報を入力したのか
- 入力データがどのように扱われているのか
- 生成された情報を何に利用したのか
を把握することが難しくなります。生成AIを禁止するか許可するかという二者択一ではなく、業務上の利用ニーズとリスクの両方を踏まえて管理することが重要です。
リスクを理解したうえで利用する
生成AIを安全に利用するためには、「生成AIは危険か、安全か」という単純な判断ではなく、利用方法を具体的に考える必要があります。
例えば、
- どの生成AIサービスを利用するのか
- どのような業務に利用するのか
- 何を入力してよいのか
- AIの出力を誰が確認するのか
- 問題が起きた場合にどこへ報告するのか
といった点を明確にすることで、リスクを管理しながら生成AIを活用しやすくなります。
生成AIを安全に利用するために企業が行うべき5つの対策
生成AIのリスクは、特定のセキュリティ製品だけで解決できるものではありません。利用環境、ルール、教育などを組み合わせ、組織として取り組む必要があります。
- 利用する生成AIサービスを決める
業務で利用を認める生成AIサービスを明確にします。サービスの機能だけでなく、入力データの保存・利用条件、アクセス管理、管理者向け機能なども確認して選定します。 - 入力してよい情報・禁止する情報を決める
生成AIへ入力できる情報の範囲を明確にします。個人情報、顧客情報、社外秘資料、ソースコード、認証情報など、自社で実際に扱う情報を例示すると、従業員が判断しやすくなります。 - AIの出力を確認する
生成AIから得た回答や生成物をそのまま利用せず、用途に応じて確認します。特に外部公開する情報、顧客への回答、重要な意思決定に利用する場合には、事実関係や権利関係などを人が確認するプロセスを設けます。 - AI利用ガイドラインを整備する
利用可能なサービスや用途、入力禁止情報、生成物の確認方法、問題が発生した場合の報告先などをルールとして整理します。 - 利用状況を把握し、継続的に見直す
生成AIのサービスや機能は変化し続けています。新しいサービスが利用されていないか、現在のルールが実態に合っているかを定期的に確認します。新たなリスクや利用方法が確認された場合には、ガイドラインや利用環境、従業員教育も見直していくことが重要です。
AI利用ガイドラインや組織としての管理体制については、「AIガバナンスとは？企業に必要な体制とAI利用ガイドラインの作り方」で詳しく紹介します。
生成AIのリスクに関するよくある質問
▼ ChatGPTなどに会社の情報を入力すると情報漏洩になりますか？まとめ
生成AIは、業務を効率化する便利なツールである一方、機密情報の漏洩、著作権・知的財産、誤情報など、利用方法に応じたリスクがあります。また、攻撃者が生成AIを利用し、フィッシングなど既存のサイバー攻撃を効率化する可能性にも注意が必要です。
重要なのは、生成AIを過度に恐れることではなく、どのような場面で、どのようなリスクが生じるのかを理解したうえで利用することです。企業では生成AIの利用を個々の従業員の判断だけに任せず、利用するサービス、入力できる情報、生成物の確認方法などを明確にする必要があります。さらに、利用状況を把握し、AIサービスや脅威の変化に応じてルールや対策を継続的に見直していくことが、安全な生成AI活用につながります。
LLMを利用したシステムでは、プロンプトインジェクションなど、LLMの特性を悪用したセキュリティリスクにも注意が必要です。LLMアプリケーションで注意すべき脅威と技術的な対策については、「LLMセキュリティとは？プロンプトインジェクションなどの脅威と対策」で詳しく解説しています。
公開日：2023年6月28日
更新日：2026年9月2日
編集責任：木下
BBSecでは
AIの利用拡大に伴い、企業を取り巻くIT環境やセキュリティリスクも変化しています。公開IT資産の把握、脆弱性の確認、セキュリティ対策の有効性検証など、自社の課題に応じた対策をご相談ください。
