AIの答え、そのまま信じて大丈夫？

生成AI（ChatGPTやGeminiなど）は、調べものや文章作成を助けてくれる便利な技術です。一方で、事実と異なる内容をもっともらしく回答してしまう「ハルシネーション」や、本物と見分けがつきにくい偽の画像・動画・音声を生成する「ディープフェイク」といった課題も指摘されています。また、攻撃者が生成AIを使って詐欺の文章や偽の画像・音声を作ったり、人気のAIサービスを装った不正サイトやアプリを用意したりする事例も報告されています。さらに、AIに読ませる情報の中へ不正な指示を紛れ込ませ、回答や動作へ影響を与えようとする「プロンプトインジェクション」も研究されています。大切なのは、AIを必要以上に怖がることではなく、仕組みと注意点を知り、確認しながら使うことです。

生成AIを使うと、読みやすく自然な文章を短時間で作成できます。その便利さは、詐欺メールやSMSの作成にも悪用されるおそれがあります。ESETは、AIがフィッシングや詐欺コンテンツの作成を巧妙化させている状況を観測^※しています。誤字や不自然な日本語だけを手掛かりに判別するのは難しくなっています。金融機関、通販、配送、家族などを名乗る連絡でも、表示されたリンクから急いで手続きせず、送信元や内容を別の方法で確認することが重要です。

生成AIでは、実在する人に似た音声や映像を作ることができます。近年では、品質が向上したディープフェイク（AIを使って本物そっくりの偽の画像・動画・音声を作る技術）を悪用し、偽の顔や声で送金を求める詐欺も確認されています。電話やビデオ通話で家族や知人に見えても、それだけで本人と判断するのは危険です。特に、送金や電子マネーの購入、認証番号の共有を急に求められた場合は注意が必要です。AIで作られたものかどうかを見極めようとするだけでなく、別の連絡手段で本人確認を行うことが有効です。

ChatGPTやGeminiなどの知名度を利用し、正規サービスを装う不正なWebサイト、広告、アプリ、ブラウザー拡張機能へ誘導する手口が報告されています。また、ESETは生成AI関連サービスの名称を悪用した情報窃取型マルウェアや、生成AIをテーマとしたマルウェアの事例を報告^※しています。検索結果やSNS広告に表示されたからといって、正規サービスとは限りません。偽サイトへIDやパスワード、クレジットカード情報を入力したり、不正なアプリをインストールしたりすると、アカウントの不正利用や情報流出につながるおそれがあります。

プロンプトインジェクションとは、Webページやメール、PDFなど、AIが参照する情報の中に不正な指示を人に気づかれないように紛れ込ませ、AIの回答や動作へ影響を与えようとする手法です。例えば、人には気づきにくい指示が情報の中に含まれ、AIが本来の依頼とは異なる案内をする可能性があります。現在は研究・実証を含む報告が多く、すべてのAI利用で被害が起きるわけではありません。ただし、AIの回答は常に正しいとは限らないため、重要な判断や操作を任せきりにしないことが基本です。

AIを悪用する脅威への対策は、一つの製品や行動だけで完結するものではありません。OSやアプリを最新の状態に保ち、多要素認証を設定することに加え、不審なものではないか確認する習慣が重要です。フィッシング対策やマルウェア対策を含むセキュリティソフトは、悪意のあるWebサイトや不正プログラムによる被害リスクの低減に有効です。ただし、ディープフェイクが本物かどうかを見分けたり、AIの回答内容そのものの正しさを保証したりするものではありません。AIを利用する際は、最終的に自分でも内容を確認することが大切です。

AIは、正しく活用すれば、学習や仕事、日々の暮らしを支えてくれる便利なツールです。一方で、AIを悪用した詐欺や不正プログラムなど、注意すべき手口も進化しています。大切なのは、「AIの回答をうのみにしない」「不審なリンクやファイルを開かない」「端末やアプリを最新の状態に保つ」といった基本的な対策を続けることです。

ESET HOME セキュリティは、フィッシングサイトや不正なWebサイトへのアクセスを検知し、利用者が詐欺やマルウェアの被害を受けるリスクの低減を支援します。また、ダウンロードしたファイルやアプリの安全性を確認し、既知・未知の脅威の検出をサポートします。さらに、脆弱性を悪用した攻撃への対策や、不審な通信の監視など、多層的な保護機能を提供します。ただし、AIが生成した情報そのものの正確性や、ディープフェイクの真偽を保証するものではありません。AIの回答や表示された情報は鵜呑みにせず、信頼できる情報源で確認することが大切です。