サイバーセキュリティにおける生成型AI（GenAI）とは？

生成型AIはサイバーセキュリティにおいてどのような役割を果たすのでしょうか？

生成型AIは、既存のデータを分析し、それに基づいて合成データを生成するソフトウェアです。大量のデータを消費し、ディープラーニングモデルを実行するニューラルネットワークで処理することで、生成型AIは、トレーニングに使用した入力に基づいて、テキスト、プログラミングコード、イメージ、さらにはビデオを作成することができます。

特定のITインフラに関するデータや、サイバーセキュリティプラットフォームから得たデータ（ハッキングや侵入の試行や成功に関する情報を含む）を基に生成型AIを訓練すれば、サイバー脅威の予測、検知、自動的な修復に活用することができます。しかし、これには裏の側面もあります。同じデータを使って、新しいマルウェア脅威の作り方を生成型AIに訓練させることも、悪用される可能性のある攻撃ベクトルを特定することもできるのです。

また、サイバーセキュリティ以外の分野における生成型AIの利用は、重大なセキュリティおよびプライバシーのリスクをもたらします。生成型AIは大量の機密データを消費し、そのデータを漏洩する可能性もあります。他のコードと同様に、基礎となるモデルやソフトウェアも、AIのワークフローを適切に保護していない組織に対して潜在的な攻撃経路を提供してしまう可能性があります。

生成型AIは、サイバーセキュリティにどのように活用できるのでしょうか？

現在、生成型AIはクラウドサイバーセキュリティプラットフォームで以下の機能を提供するために使用されています。

• セキュリティ戦略とポリシーの生成：AIは、インフラストラクチャ、コード、構成のスキャンを行い、運用要件を提供することで、お客様のIT環境に合わせた脆弱性の特定とセキュリティ戦略の生成を行うことができます。セキュリティチームが確認したポリシーは自動的に生成され、手動でのポリシー作成のみに頼るよりも、潜在的なギャップが少なく、より包括的なルールセットを提供します。
• 自動化されたインシデントの検出と対応：進行中のプロセスから、進行中の攻撃を示唆する行動を監視し、これらの行動を緩和するスクリプトを自動的に作成して展開することができます。潜在的に侵害されたシステムやプロセスを隔離することで、セキュリティチームはセキュリティインシデントを適切に評価、分類し、完全に対応するための時間を確保することができます。
• 悪意のある行動の検出：ユーザー自身が攻撃の対象となることはよくあります。ユーザーは、スクリプトの実行やその他の操作を実行するようにだまされることで、攻撃者がアクセスする扉を開くことになります。AIは、このような行動を検知し、サイバーセキュリティに悪影響を及ぼす可能性のあるコマンドをユーザー入力から解析することさえ可能です。
• ソーシャルエンジニアリング攻撃からの保護：フィッシング（英語）は、ユーザーに悪意のある行動や悪意のあるコードの実行をさせる一般的な方法です。人間には信憑性があるように見える攻撃経路を開くようユーザーに指示する電子メールも、AI検出ツールを欺くことはできないかもしれません。
• プライバシー保護：特定の目的で機密データ（個人識別情報など）が必要な場合、特定のタスクと無関係な情報は自動的にマスクまたは削除されます。データがテストやトレーニングに必要であれば、AIを使用して合成データを生成し、実際のユーザー情報の保護を損なうことなく、演習、テスト、デバッグ作業を可能な限り現実のシナリオに近づけることができます。
• トレーニング：生成型AIは、ITセキュリティ専門家の意思決定能力の向上に役立つ、現実的かつ動的なシナリオを提供することができます。

生成AIがもたらすサイバーセキュリティへの恩恵

サイバーセキュリティにおける生成型AIのメリットには、自動化の向上、より積極的な保護（クラウドにおけるより強固なセキュリティ体制を含む）、そしてまだ十分に理解されていない新たな脅威に対する保護の改善が含まれます。

生成型AIを統合したクラウドセキュリティプラットフォーム（Cloud Native Application Protection Platformsを含む）は、セキュリティチームがセキュリティインシデントに対応する時間を大幅に短縮します。また、生成型AIは、さまざまなソースからのデータを要約し、傾向を特定する能力も備えているため、レポート作成の効率も大幅に向上します。理解が難しいプログラムによる出力は、関係者に送信する前に照合およびフォーマット化できるため、データの意味を迅速に理解し、対応することができます。

生成型AIはサイバーセキュリティにどのようなリスクをもたらすのでしょうか？

生成型AIがインフラ、ワークロード、データに及ぼすリスクには、以下のようなものがあります。

• 標的型フィッシングキャンペーン：公開情報を大規模言語モデル（LLM）で処理し、従業員を直接的に金銭や情報の引き渡しを説得する、あるいは攻撃を支援する行動を取らせる説得力のある電子メールを生成するために使用することができます。
• カスタマイズされた悪意のあるコード：生成型AIは、アンチウイルスに検知されにくいマルウェアを攻撃者が作成するのを支援することができます。
• エクスプロイトの発見：生成AIを使用してインフラストラクチャの潜在的な脆弱性を特定し、修正するのと同じプロセスを、脆弱性を見つけ、悪用するために使用することができます。
• ディープフェイクとなりすまし：生成型AIはテキストや画像の生成に留まりません。 ある人物のソーシャルメディア上の存在を基に、その人物と見た目も声もそっくりなオーディオやビデオを作成することができます。 これを利用して、同僚をだましてサイバーセキュリティ対策の回避を手伝わせたり、送金を行わせたり、その他の行為を行わせたりすることができます。
• 生成型AI製品を介したデータ漏洩：脅威のすべてが悪意ある第三者の仕業というわけではありません。生成型AIの仕組みに詳しくない従業員が、公開APIへのプロンプトで意図せず機密データを漏洩し、それが他のユーザーへのその後の応答に表示される可能性があります。

サイバーセキュリティにおけるAIの、見落とされがちな側面として、AIへの過剰な依存の可能性が挙げられます。AIが生成したアウトプット（戦略、セキュリティポリシー、スクリプトなど）は、何を保護し、どのように使用するかを完全に理解しているチームメンバーが必ず確認しなければなりません。この確認を怠ると、設定ミスが起こり、悪用可能なギャップが生じたり、厳格すぎるセキュリティ対策（ユーザーが必要なリソースへのアクセスを妨げる）が回避されたり、無効化されたりする可能性があります。

生成型AIアプリケーションのセキュリティ確保

AIの導入と統合がほぼすべての製品とサービスで増加するにつれ、攻撃ベクトルとしてジェネレーティブAIツールを保護することは、現代のIT環境では不可欠です。

この問題を解決するには、可視性とトレーニングが鍵となります。AIツールを監視し続けることで潜在的な脅威ベクトルを特定し、ユーザーにトレーニングを行い、公開されているジェネレーティブAIツールの仕組みを理解させることで、ユーザーが情報を開示する事態を減らすことができます。

独自のAIツール（社内用または一般公開用）を開発する場合は、さらに保護すべき新たな脅威があります。例えば、プロンプトインジェクションにより、攻撃者はモデルから機密情報を引き出したり、システム上で独自のコードを実行したりすることが可能になります。また、盗まれた認証情報を使用したパブリックAPIのLLMジャックは、ますます深刻化する脅威です。LLMjackingは、パブリックな生成型AIプラットフォームに依存する企業にとって、ますます深刻化する問題であり、リソースの盗用やAIモデルの汚染（意図的に不正な形に加工されたデータや危険なデータの挿入）など、その他の悪意ある行為にも積極的に利用されています。

また、AIサービスを他者に提供している場合、有害なアウトプットに対する責任を負う可能性もあります。これにより、AIモデルの汚染が単なる迷惑行為から、現実世界に影響を及ぼし、法的責任を問われる可能性のあるものへと変貌する可能性があります。

AI、サイバーセキュリティ、そして未来

ハッカーとサイバーセキュリティ専門家の間の技術競争は、AIの登場によりさらに激化しています。AIを駆使した攻撃は、より複雑かつ標的を絞ったものとなり、新たに特定された脆弱性に対しては、開発に要する時間が大幅に短縮されるでしょう。サイバーセキュリティツールは、急速に進化する生成型AIアプリケーションでこれに対応していくことになります。

AI機能を統合したITセキュリティツールを採用することによってのみ、この現代の急速に変化する脅威環境に対して、最善の保護を実現することが可能となります。

AIのためのセキュリティ

Sysdigが提供するAIワークロードセキュリティは、IT環境で一般的なAIプラットフォーム（OpenAI、TensorFlow、Anthropicなど）を自動的にタグ付けします。 隠れた攻撃経路を明らかにし、アクティビティを評価することでインフラ全体にわたるリスクを可視化し、リアルタイムで保護を提供します。

Sysdigのクラウドセキュリティプラットフォームは、誤設定、疑わしいアクティビティ、機密情報の公開の可能性などのリスクを明らかにするのにも役立ちます。

セキュリティのためのAI

SysdigのAI搭載クラウドセキュリティアナリストであるSysdig Sage^TMは、マルチステップの相関、コンテキスト認識、ガイド付き応答機能を使用して、セキュリティ担当者が私たちの環境で何が起こっているかを理解し、適切に対応できるよう支援します。

強力な生成型AIは、洞察の生成、意思決定、適応的な問題解決を応答者に提供し、人間の応答を加速し、進化するサイバーセキュリティの脅威環境に対応するのに役立ちます。