会社で「AIを使いたい！」と言われた場合何を考えればよいか

エンジニア向け雑誌「Software Design」も今や記事の半分がAI関連です。スーパーでは画像生成AIで作られたカスハラ禁止のポスターを見かけ、ニュースでは声優が「自分の声を無断学習した生成AI音声の利用禁止」を要請しています。さらには、プロ野球の監督辞任の背景にChatGPが関わっていたりと、完全に私たちの周りにAIが入り込みました。スマホ以来の人類を変えた発明と言われるのは嘘ではなく、Before AI / After AIとしてこの1、2年は語り継がれるでしょう。

ビジネスの世界でも「AIを利用する」と「利用しない」、「上手に利用する」と「漫然と利用する」とでは決定的な差が出るとされています。僕の会社もトップダウンでAIの利用が進められています。

AIが非エンジニアにも広がっている理由は、もちろんチャットAIによる人間の能力のブーストがあるわけですが、人気の要因の一つとして「業務で利用しているWebサービスやドキュメントを自然言語で操作できること」があると思います。Claudeを開発しているAnthropic謹製のGoogle Chrome拡張Claude in Chromeは、Chromeで表示しているWebページについて分析するだけではなく、ブラウザ上の複数タブを操作することも指示でき、定常業務が格段に楽になります。一昔前はRPAを導入することで実現していましたが、プログラム言語で実装するのと、自然言語で命令できるのとではハードルが全然違います。RPAや自作ツールの場合、Webサービスへのログイン処理を実装することが大変でしたが、Chrome拡張として提供されているClaude in Chromeは、ブラウザですでにログインしている前提でWebサイトを操作できるのです。 しかし、便利さと不便さは表裏一体。

Claude拡張機能に深刻な脆弱性　無権限でAI操作を乗っ取り可能

このように、利用者がアクセスできるすべてのデータ（GoogleドライブやGmailなど）を窃取できる脆弱性が報告されました。情シスとして速やかに「脆弱性が修正されるまでClaude in Chromeは利用禁止」とアナウンスしました。が、こんなに便利なツールを一度体験してしまった現場にとって、それがどれほど耐えがたいことかは想像できます。

自動車で例えれば、自動車は発明以来、累計で5000万人の命を奪ったとされています。発明された当初は事故も今よりずっと多かったはずですが、人類は自動車の利用を禁止しませんでした。その圧倒的な利便性と経済効果の前に、リスクは受容されたのです。AIも同じことが言えると思います。AIは自動車と同レベルの利便性と経済効果をもたらすため、利用を極力制限するのではなく、基本的には自由に利用できるようにしつつ、守るべき最低限のところにガードレールを設ける、というやり方が妥当でしょう。AIの利用を完全に止めるという選択肢は、もはやどこの企業にも無いと言ってよいのではないでしょうか。

僕のような情シス兼エンジニアはAIを以前から活用してきましたが、コンピュータリテラシーがまだ十分でない非エンジニア（例えば営業の人など）が一斉にAIを利用することは、社内セキュリティにおいて一種の危機です。僕が所属している情シスのSlackコミュニティでも、「体制が十分整っていないのにAIの導入が先行している」という悩みがよく投稿されています。インターネット上でもそのような記事が目立つようになっており、「あとで読む」に突っ込んでいたのですが、もう他人事ではいられません。この週末で会社にAIが導入されることのリスクと対策についてしっかり学ばなければと思い、こうして記事を書いています。

生成AIを使ったソフトウェア開発におけるセキュリティの問題点について整理してみた

本記事にあるように、外部のLLMを利用する限り、そしてそのLLMがインターネット上のあらゆるデータを収集する限りは、モデルの脆弱性をゼロにすることはできません。プロンプトインジェクションやデータポイズニングに対してはAI提供側が対策を行う部分ですが、開発・導入側は自分たちで「LLMモデル以外の部分」にセキュリティ対策を施す必要があります。 この記事はClaude Codeを前提に対策方法を記載していますが、他のコーディング支援AIを使う場合にも参考になるでしょう。なるほど、AIが危険な行動をとれないよう、いろいろな機能があるのですね。しかし、ここがジレンマです。人間がその都度判断（承認）を入れる設定にすると、人間側が疲れてしまい、結局「はいはい、承諾」とポチポチするだけになってしまうでしょう（自分もそうですしｗ）。一方で、特定処理の実行を拒否するホワイトリスト方式では、せっかくのAIの性能を活かせなくなります。また、一見強固に見える対策にも、本記事で紹介されているように様々な抜け道があります。

そのうえで、NISTのサイバーセキュリティフレームワークに沿って順序立てて対策を検討することを推奨しています。CISSP保持者にとってはおなじみの流れですね。

• 特定（Identify）：守るべき資産・リスク・脆弱性を洗い出し、何を対象に守るかを明らかにする
• 防御（Protect）：洗い出した対象に対して、攻撃の成立を抑える保護策を講じる
• 検知（Detect）：攻撃や異常をできるだけ早く発見し、分析する仕組みを整える
• 対応（Respond）：検知した事象に対して、被害を抑えるための対処を行う
• 復旧（Recover）：影響を受けた資産・機能を回復し、再発防止につなげる

加えて、上記に対してPDCAを回すガバナンス（Govern）です。AI利用に関しては、「防御」から先のフェーズにおいて、AI特有の防御・検知をルール化していくのがよさそうです。とはいえ、叩き台を情シスが作るとしても、ルールは現場のAI活用を縛るものになりがちなので、現場との議論と合意形成が必要不可欠です。これまでもセキュリティルールって、「自分が作っても現場からは『そんなの知らない』と言われる」シチュエーションが多かったんですよねぇ…（遠い目）。

AIエージェントを会社で使いたい！→「え、セキュリティどうするの？」　企業導入への技術的アプローチ

上記はAIGIS開発者の方の記事です。個人がOSSで開発しているのですね。

Claude Codeを仕事で使うなら「AIGIS」は入れておくべき。操作ログと危険コマンド自動ブロックの導入手順

こちらは利用者による記事になります。

利用するAIエージェント（Claude Code / Cursor / Codexなど）の実行時に、コマンド実行をフックして介入し、危険と判断されたコマンドをブロックしたり、ユーザの承認を求めたりできる機能があります。Claude Codeにおける managed-setting.json に類似した機能なのかな。現場のエンジニアが条件に引っかかった場合に通知する機能もあるということで、先ほどのサイバーセキュリティフレームワークの「防御」と「検知」が実現できます。社内でルールを決めて、利用者に配布する運用にするとよさそうですね。

メルカリのClaude Codeセキュリティ設定の組織配布戦略

メルカリのAIセキュリティSRE担当の方の講演資料です。上記のようなAI動作制限の設定ファイルを、MDMを使って会社のPCに一括配布する方法が紹介されています。僕の会社でもMDMは導入しているので、非常に参考になります。資料にあるように、エンジニアと非エンジニアで制限の内容を分けるのは有効でしょうね。

Claudeを組織で安全に使うために NOT A HOTELで実施している４つのレイヤー

情シスの方による、「自分の作業のブーストではなく、会社全体にAIを導入するにあたってのリスクとそれを解消する方法」についての記事。

同じような立ち上げを検討している Corp IT / セキュリティ担当の方の参考になれば幸いです。

ありがたや、参考にさせていただきます。 Google Workspaceなどと同じく、AIサービスも会社統一のIdPにログインを寄せたほうがよさそうです。 また、コスト最適化の方法についても記載がありました。 Anthropic Console Account（従量課金）は「使わない人は一切課金が発生しない」一方で、個人単位で課金の上限を決められないため、「組織の誰かが使いまくると全員が利用できなくなってしまう」デメリットがあります。一方でClaude Account with Subscription（定額サブスクリプション）は、使わない人も定額のサブスクが発生する反面、使い過ぎの利用制限は個人単位でかかるため、チーム全体に影響を波及させないメリットがあります。 どちらが良いかはチーム内で検討が必要ですが、選択肢が2つあることを知れたのは良かったです。

そしてAIとの壁打ちの中で、現状のClaude Codeが「誰が」「どれくらい使用しているのか」を標準機能として持っていないこと（そういうデータを持たないことで、逆に会社のセキュリティを強化している面もあるため）を知りました。最近はTeams Premiumプランなどでそういった管理機能が急ピッチで作られているとのことですが、お高いでしょうし……。そこで、この記事にあるように自作でログを収集・表示する方法が考えられます。僕の会社はAWSの利用が盛んなのと、僕自身がAWS資格保持者なので、以下のような構成で実現できるのではと考えました。

終わりに

大変勉強になりました。これで週明けに「Claude全社導入だ！」となってもある程度備えることができます。しかし……最近上司に口酸っぱく言っているのですが、AIに関するセキュリティ対策（ガイドライン作成）と運用対応は、別業務の片手間ではできず、会社内に専門のプロジェクトを作って部署横断で対応しないとだめだと考えています。今回様々な記事を読んで、さらにその思いを強くしました。