Security NEWS TOPに戻る
バックナンバー TOPに戻る
本記事では全3回のシリーズを通して、2025年春時点でのAIをめぐる様々な事象をまとめています。連載第3回目となる今回は、生成AIを私たちはどのように活用すべきか、今後の展望について解説します。
contents
OWASP Top 10でみる生成AIのセキュリティリスク
AIをめぐるセキュリティリスクを簡便にまとめた情報がOWASP Top 10 for LLM Applications 2025として公開されています。2024年11月に公開された2025年版では、以下の10項目がトップ10に挙げられています。
- LLM01:2025 プロンプトインジェクション
概要:ユーザーが入力したプロンプトが、意図しない形で LLM の挙動や出力に影響を与える脆弱性 - LLM02:2025 センシティブ情報漏洩
概要:LLMとそのアプリケーションのコンテキストにおいて、個人情報、金融情報、機密ビジネスデータ、セキュリティ認証情報などのセンシティブな情報が漏洩するリスク - LLM03:2025 サプライチェーン
概要:LLMのサプライチェーンにおける脆弱性が、トレーニングデータ、モデル、デプロイメントプラットフォームの完全性に影響を与え、バイアスのある出力やセキュリティ侵害を引き起こすリスク - LLM04: データとモデルの汚染
概要:事前学習、ファインチューニング、または埋め込みデータが操作され、脆弱性、バックドア、またはバイアスが導入されることによって、モデルのセキュリティ、パフォーマンス、または倫理的行動が損なわれるリスク - LLM05:2025 不適切な出力処理
概要:LLMによって生成されたコンテンツの検証、サニタイズ、および処理が不十分なまま、他のコンポーネントやシステムに渡されることによって生じる脆弱性 - LLM06:2025 過剰な代理権
概要:LLMベースのシステムが、プロンプトに応答してアクションを実行するために、他のシステムと連携する機能を与えられることによるリスク - LLM07:2025 システムプロンプトリーク
概要:LLMアプリケーションのシステムプロンプトが漏洩することにより、攻撃者がアプリケーションの内部動作を理解し、悪用するリスク - LLM08:2025 過度な信頼
概要:LLMの出力の正確さや適切さに対する過度な依存によって生じるリスク。ユーザーがLLMの出力を効果的に評価できない場合、誤情報や不適切なアドバイスを受け入れる可能性が高まる - LLM09:2025 誤情報の生成
概要:LLMが誤った情報や偏った情報を生成・拡散するリスク - LLM10:2025 無制限の消費
概要:LLMが入力クエリまたはプロンプトに基づいて出力を生成するプロセスにおいて、リソース管理が不適切であることによって生じるリスク。モデルの窃取やシャドウモデルの作成につながる可能性もある
Top10には実際にジェイルブレイクの手法として用いられるものも含まれています。また、AIによるサービスを提供する側がガードレールによって回避すべき問題も多く含みますが、LLM08:2025 過度な信頼のようにユーザ側の問題も含まれています。
生成AIの利用用途 -私たちはAIをどう使うべきか？-
生成AIサービスであり基盤モデルでもある「Claude」を提供するAnthropic社が、2025年2月10日、「The Anthropic Economic Index」という分析レポートを公開しました。同レポートでは、Claudeの利用データ（匿名データ）を用いて私たちが普段どのようにAIを使っているかを具体的に分析しています。
生成AIの主な利用用途
- ソフトウェア開発とテクニカルライティングが主要な利用用途
- 生成AIが人間の能力と協力して強化・拡張(Augumentation)する目的で使用されることが57%を占めており、AI が直接タスクを実行する自動化（Automation, 43%）を上回っている
- 生成AIの使用はコンピュータープログラマーやデータサイエンティストなどの中～高程度の賃金を得られる職業※ で一般的
※Claudeのユーザーの利用用途をタスク別に割り当て、そのタスクが実行される可能性が高い職業を割り当てている点に注意 - 最高賃金帯と最低賃金帯のタスクで利用頻度が低い
ここまで書いてきましたが、生成 AI・基盤モデル（LLM含む）をめぐっては2025年3月現在、以下のような問題があります。
- 過度な信頼や誤情報に対する警戒（OWASP Top 10 for LLM Applications 2025やEU AI法）
- 機微情報や著作物の取り扱いに関するルール作り（日本をはじめとする各国法制度）
機微情報や著作物に影響されない分野としてソフトウェア開発やテクニカルライティングがあり、その中でもある程度誤情報の検知や生成AIの出力に対して過度に期待しない一定程度の経験のある層が生成AIを使いやすいという状況の結果として、現時点での利用方法があると考えられるかもしれません。
AIの安全な利用に向けて
機微情報や著作物の扱いに関する問題やジェイルブレイクによる危険な情報の出力、誤情報といった具体的な問題がある一方、生成AIに限らずAI全般において安全性をどう保証するのか、インシデントをどのように調査し報告するのかといった面については現在も議論が続いています。EUでAI法は施行されてはいるものの、実際の法規制はこれからとなります。容認できないリスクに当たるAIへの規制はすでに2025年2月2日から始まっていますが、そのほかのAIシステムについてはこれから規則が適用されることになっています。EUのAI法のアプローチによる安全性の保証がどう効果をもたらすかは1年以上を経ないとわからないのが実情です。また、2025年2月4日に内閣府のAI戦略会議から公開された「中間とりまとめ（案）」でも、安全性については制度・施策の中で透明性・適正性の確保と並んで課題として挙げられています。
まとめ
2025年春、生成AIは急速に進化し、私たちの日常やビジネスに大きな影響を与えています。しかし、その一方でジェイルブレイク、情報漏洩、誤情報生成など、数多くのセキュリティリスクも指摘されています。各国の政府や監督機関は、これらのリスクに対応するための法規制やガイドラインを整備しつつあり、利用者としても安全対策の強化が求められています。今後、生成AIを安全に活用するためには、最新の規制情報やガイドラインに基づいた対策を実施し、脆弱性診断などを通じてシステムの弱点を常に把握することが必要です。SQAT.jpでは、今後も生成AIの安全性に関する問題に注視し、ご紹介していきたいと思います。
Security NEWS TOPに戻る
バックナンバー TOPに戻る
【連載一覧】
―第1回「生成AIとは？ -生成AIの基礎知識と最新動向-」―
―第2回「生成AIをめぐる政府機関および世界各国の対応」―
