登壇者紹介

上野宣氏

プロフィール
株式会社トライコーダ代表取締役
奈良先端科学技術大学院大学で山口英教授のもと情報セキュリティを専攻、2006年にサイバーセキュリティ専門会社の株式会社トライコーダを設立。2019年より株式会社Flatt Security、2022年よりグローバルセキュリティエキスパート株式会社、2025年より株式会社ブロードバンドセキュリティの社外取締役を務める。あわせて、OWASP Japan代表、一般社団法人セキュリティ・キャンプ協議会理事、NICT CYDER推進委員などを歴任し、教育・人材育成分野にも尽力。情報経営イノベーション専門職大学（iU）客員教員。

株式会社ブロードバンドセキュリティ

セキュリティサービス本部　神保冬和子
情報セキュリティプロフェッショナルサービス本部コンサルティング事業戦略部コンサルティング事業戦略課　吉原百里可
マネジメントサービス本部セキュリティオペレーション2部クラウドソリューション課　渡邊寛昭

この資料でわかること

AIエージェント時代の新たなリスク
AI活用における権限管理
AIガバナンスの重要性
AIリテラシー教育のあり方
AI時代のセキュリティ人材像

AIはこれからどこへ向かうのか

以下、インタビュー記事（SQAT^® Seurity Report 2026年春夏号【巻頭企画】「座談会 AIを生み出した〝人〟はAIを使いこなす〝人〟になる～上野宣氏を迎えてAIの今とこれからを語る～）より一部抜粋

神保：最近は「Alのバブル」などといわれていますけれども、今私たちが申し上げた「Al」にはさまざまなものがあって、例えば、自動車関連の画像認識の技術もAlが絡んでいますし、身近なものだとメールのスパム判定などに使われるものも、Alの技術のひとつの応用ですよね。セキュリティ面での注意点や今後Alはどういう方向に進んでいくのかなど、上野様からお伺いしたいです。

上野：セキュリティ面での注意点については、「OWASP Top 10 for Large Language Model Applications」（以降： Large Language ModelをLLMと表記）などが参考になると思います。プロンプトインジェクションによって機密情報が漏洩する可能性がある、などが例に挙げられます。今後のAlの動向については、最近（座談会は2026年1月下旬実施）でいうと、クロードボット(Claudebot)というエージェント型のAlの話題が気になったのですが、エージェント型のAlが普及していった時にさまざまなセキュリティの問題が出てくることが予想できます。今後もAlの発展に付随して、問題も尽きることはないのかなと思います。

AIが変える攻撃と防御の構図については、上野氏の特別寄稿でも詳しく解説されています。
「AI時代のセキュリティ戦略：上野宣氏が語る、攻撃と防御の最前線」

上野氏は、今後のAIの進化において「AIエージェント」が大きな転換点になると指摘します。

AIエージェントは企業に何をもたらすのか

上野：エージェント型のAlについて少々お話しますと、端末にインストールして、自律して動くことを謳っていますけれども、権限管理が非常に難しいですよね。それが特にビジネスシーンで浸透していった場合、自分が使っているAlエージェントが持っている権限であるとか、ある会社のシステムのAlの権限であるとか、人ではないものが権限持って自律して動く、というようなことですので。そこでセキュリティの問題や事件が起きることが予想されます。プロンプトインジェクションなどのLLM特有の問題も大きな問題になるのではないかと、セキュリティエンジニアとしての危惧がありますね。とはいえ、我々はAlによる発展を受け入れるべきです。ただし問題点も認識するべきであるということです。セキュリティ専門家としては、ちゃんと警鐘を鳴らしておいたほうがいいなと思っています。

AI活用で変わらないセキュリティの原則

上野：まだ企業や組織でAlエージェントが広く活用されているという話はそこまでは聞きませんが、今後は企業や組織のAlエージェントの導入は進んでいくのかなと思います。RPA の代わりに広まってくるのではないかなと。まあ、既に一部のRPAには、多分Alが入っていると思いますけどね。

神保：RPAの中でもAlを許容しやすいというか、制御しやすいものとしづらいものがあるのかなと思うのですよね。限定的な機能のためのAl工ージェントであれば、それに必要最小限の権限を設定するのは難しくないですけれども、汎用性が高くなると権限もいろいろなところに及ぶと思うので、判断がつかなくなって設定するのが困難になりそうかなと。

上野：おそらく、判断がつかない場合は全権限をつけてしまうのが現状でしょうね。例えばアクセスコントロールとセットになっているようなサービスを各サービス提供ベンダが提供するとわかりやすいかもしれませんね。それを逸脱する時はこういうリスクがありますよ、と提示するとかで、ガイドラインが決まってくるといいのではないかなと思います。

AI時代に求められる人材とリテラシー

神保：最近のAlの動向で、著作権や肖像権の侵害といった課題について、吉原さんはお客様からお問い合わせをいただくことはありますか？

吉原：アドバイザリーの中には、「自社の作った著作物を、特に生成Alの学習から保護するにはどうしたらよいか？」というようなお問い合わせが出てきています。逆に、「他社の著作物を侵害しないためにはどうしたらよいか？」といったお問い合わせもあります。こういった質問はさまざまな業種のお客様からいただきます。ガイドラインの整備ができていない企業も多いようです。

神保：こういったところも、Alエージェントが普及していくとさらにややこしくなるかもしれませんね。例えば、Alエージェントが入っている環境で、Alエージェントが許諾をとっていたけれども、（利用者の）著作物を持っていって、別なところでリークしてしまうといった可能性もあるでしょうし、そもそもAlエージェントを利用してよいのか、してはいけないのかが企業や組織の中で明確にできていないことで問題が起こることもあるでしょうし。こういった統制はすごく難しいような気がします。

上野：結局のところ、その辺りの統制は人間がしないといけませんよね。生成Alにしろ、Alエージェントにしろ、社会人としてAlを使っていく部分では常に著作権侵害をしていないか、といったことに一番配慮すべきなのは、使う本人であると私は思います。私が昨年ぐらいに出した「セキュリティ1年生　図解でわかる！会話でまなべる！」という本の中で著作権のことにも触れていて、Alの生成物についても書いているのですけれども、例えばAlが持ってきた画像の出元であるとかは、特に企業や組織が使う場合、まずAlを使う本人の確認は必須です。さらに社外向けの資料にAlを使いたい社員がいるとしたら、本人の確認はもちろん、その上司も確認および承認が必要、といったフローになると思います。とは言っても、こういった概念はまだ浸透しきってはいないように思いますので、企業や組織向けのリテラシー教育は必要でしょう。将来的には例えば小中学校とかの段階で教育して、Alを使う場合に当たり前のように人がリテラシーを守る時代が来ると良いなと思います。

続きはSQAT^® Seurity Reportでご覧ください

本対談では、AIエージェントの普及による新たなリスクや権限管理の課題、AI活用におけるガバナンス、人材育成のあり方などについて議論しています。

本ページでご紹介した内容のほか、AIセキュリティに関する実践的な知見や用語解説を収録した「SQAT^® Security Report 2026年春夏号」を無料公開中です。ぜひ資料をダウンロードのうえ、対談全文をご覧ください。

※主な対談内容（参考）
・AI利用におけるリテラシー教育
・AIセキュリティの課題

無料ダウンロード

用語解説

LLM (Large Language Models：大規模言語モデル）

自然言語を大量のテキストデータから学習し、ユーザからの自然言語によるリクエストを処理する仕組み。大星のテキストデータからの学習には機械学習モデルが用いられており、機械学習モデルには生物の学習メカニズムを模倣した人工ニューロンと呼ばれる計算ユニットを利用した人工ニューラルネットワークが用いられている。生成AlおよびマルチモーダルAlはユーザからの自然言語によるリクエスト処理のためにLLMを使用しているため、混同されることが多い。

OWASP Top 10 for LLM Applicationsについては、こちらの記事でも解説しています。
「2025年春のAI最新動向第3回：生成AIの未来と安全な活用法 -私たちはAIをどう使うべきか？-」

プロンプトインジェクション(PromptInjection)

LLMの脆弱性のひとつ。悪意のある、もしくは誤解を招くプロンプト（自然言語による指示・リクエスト）を作成してモデルの挙動を操作し、セーフティフィルタを回避して意図しない命令を実行する。これにより、情報漏洩、権限昇格、不適切な出力の発生などが起こりうる。従来のソフトウェアやWebアプリケーションにおけるコマンドインジェクションと同等の影響を、LLMで引き起こすものである。

AIを狙った攻撃手法や実際の脅威事例については、こちらの記事でも解説しています。
「AIとセキュリティ最前線 -AI搭載マルウェアとは？脅威とセキュリティ対策-」