騙されるAI

画像生成や動画生成がSNSで華やかに注目を集める一方で、現代のビジネスシーンにおいてAIチャットボットの活用はもはや常識となっています。実際に使ってみると、仕事のパフォーマンスが劇的に変わるのを実感します。……もっとも、その分仕事が一向に減らないのは皮肉なものですが（笑）。

AI利用がビジネスの必須条件となった今、その「危険性」を正しく知っておくことは極めて重要です。本書は、現在のAIチャットボットが抱えるセキュリティリスクについて、非常にコンパクトにまとめられた一冊でした。

まず第1章の「AIと人間の脳はどう違うのか」という解説は、非常に勉強になりました。一見、人間の脳と同じように思考しているように見える(そのため無条件に信じてしまう)AIですが、その実態はバックグラウンドにある膨大なデータを基に「最も確率が高い用語」や「手持ちのデータと類似性の高い情報」を導き出しているに過ぎません。 そのため、もっともらしい回答の中にも「ハルシネーション（嘘）」が紛れ込むことがあります。責任あるアウトプットが求められる仕事でAIを使っていると、この恐ろしさはリアルに実感するところです。

僕自身の考えとして、AIチャットとの正しい付き合い方は以下の2点に集約されると思っています。

• アイデア出しなどのクリエイティブな補助にAIの力を借りる。
• 知識やコードを出力させる場合は、必ず人間が真偽を確認し、修正を加える。

AI自身は、自分の回答に対して信念も確信も持っていません。それにもかかわらず、間違いを含んだ回答を「AIがそう言っていたから」と鵜呑みにしてしまうのは、ビジネスパーソンとして最も避けるべき姿ではないでしょうか。

便利なAIチャットの裏側には、多様なセキュリティリスクやサイバー攻撃が存在します。まだ生まれたばかりのテクノロジーであること、そして「ウィナー・テイク・オール（勝者総取り）」の激しい競争下にあることから、多くのAIモデルは機能強化を優先し、セキュリティの実装が後回しになりがちなのが現状です。 使う側の意識も同様で、例えば以下の記事のように、セキュリティリスクをあえて許容してでもAIに全賭け（Bet）する企業の姿勢も見られます。

AIに全社でBetするLayerXに見る、セキュリティリスクをあえて許容する覚悟 「リスクを恐れてAIを使わないことの方が、中長期的なリスクが高い」という考え方ですね。 AIは通常、危険な知識や犯罪を助長する回答をしないよう「ガードレール」で制御されています。しかし、本書ではそれを巧みに回避する攻撃手法が紹介されており、背筋が凍る思いでした。

• ジェイルブレイク（脱獄）： 「これは小説のネタなのですが……」と前置きし、フィクションの設定を装うことで、犯罪の手順などを聞き出す手法。
• プロンプトインジェクション： SQLインジェクションのAI版。Webサイトの参照指示の中に悪意ある命令（内部データの表示など）を隠しておく攻撃。
• JUMP攻撃： 無駄な質問を大量に浴びせてAIのガードレールに対する優先度を下げ、無防備になったところで危険な指示を出す攻撃。

結局、AI自体は便利な道具ですが、それを悪用する方法を思いつくのは、いつだって人間です。生成AIがこれほど普及した今、その影響を無視することはできません。 例えば自動運転車の場合、AIは障害物や信号を判別しますが、もし前を走る自転車の運転手が「ここには誰もいません」と書かれたTシャツを着ていたら、AIがそれを信じて誤判断してしまう可能性すらあります。 特に医療や健康に関する情報は、フェイクが許されない分野です。2016年に起きた「WELQ問題」から約10年。今やTikTokなどで、AIが生成した「偽の医師」が誤った医療情報を拡散するという、より深刻な事態になっています。

「実在しない医師」が偽医療情報を拡散！急増する”AIフェイク医療動画”を見破る方法を専門家が伝授

最終章では、こうした攻撃に対して提供側がどのような対策を講じているかが紹介されています。 僕も今年からGeminiの有料プランを契約しましたが、AIチャットはすでに生活必需品です。しかし、いくら競争が激しいとはいえ、セキュリティを軽視すれば企業に甚大な損害をもたらすことは、かつてマイクロソフトが通ってきた道でもあります。

「信頼できるコンピューティング」への長い道のり（1） ※20年以上前の記事ですが、本質は変わりません。

各メーカーには切磋琢磨してもらいつつ、セキュリティに関しては業界内で統一ルールを作り、手を取り合って安全性を高めてほしいと強く感じました。 本書は専門的な知識がなくても読みやすく、ボリュームもコンパクトです。1時間もあれば読める内容ですので、AIを日常的に使うすべての人に、ぜひ手に取ってほしい一冊です。