AIエージェント対決！Devinの堅牢開発 vs Takumiの脆弱性診断

AIという言葉を聞かない日はない日々この頃ですが、非常に面白いタイトルの動画を見つけたので視聴してみました。

Devinは昨年公開時たいへん話題となった「AIソフトウェアエンジニア」です。これまでのAIコーディングツールが、コードの補完や部分的な生成といった「アシスタント」的な役割だったのに対し、Devinは「自律的なソフトウェアエンジニア」として振る舞うことを目指しています。つまり、人間が自然言語でタスクを指示するだけで、そのタスクを遂行するために必要なプロセスを自ら計画し、実行し、結果を報告することができます。人間が作業をしている裏で勝手にリポジトリからpullして、コードを書いて、テストして、デプロイします。進捗をSlackで報告することも。まだ人間に比べて能力は劣るものの、新入社員程度のソフトウェアエンジニアを、人間を雇うよりも（そして解雇するよりも）簡単にメンバーとしてプロジェクトにアサインできるようになる。そして昨今のAIの爆発的な進化を考えると、近い未来我々から仕事を奪う驚異的な存在になるかもしれません。

TakumiはGMO Flat Securityがサービス提供している脆弱性診断AIエージェント。GMO Flat Securityは、セキュリティ脆弱性診断を生業としている会社。自社に蓄積された豊富な知見を基にLLMを作成し、でソースコードに対する脆弱性診断をしてくれるAIエージェントを開発しました。AI・LLMの時代に覇権を握るには、自社でどれだけデータを持っているかはますます重要になるのでしょう。

まずはDevinに「ログインできるToDoリストアプリを作ってくれ」指示を出します。Devinがより理解できる英語で指示を出します。Devinがエディアを使って自動で開発を進めてくれます。人間やることないw DevinのようなAIソフトウェアエンジニアを使うと、人間がキーボードに手を置かずに開発が行えるようになります、これが”Vibe Coding”。これまで以上にソフトウェア開発が一般化し、非ソフトウェアエンジニアもソフトウェアを作れるようになりました。その能力はまだまだ発展途上ですが、将来的には利用者自身の能力を超えるでしょう。一方、ソフトウェアの責任はAIではなく人間がとらないといけません。となると、コードを書くよりもAIがアウトプットを読むほうことのほうが増えるでしょう。皆さんも経験上、他者が書いたコードのレビューをするのはモチベーションが上がらなかった経験あると思います。さらに、AIソフトウェアエンジニアが並列で次々とソースコードを作ってくれると、それを管理するのがたいへんになるでしょう。今までエキスパートとしてふるまっていたソフトウェアエンジニアが、これからはAIエンジニアを束ねるマネージャーとしての役割を担うようになります。書いていて、あらためてすごい時代に生きているな…。

そうこう言っているうちにDevinが指示したアプリを作ってくれました。早い。人間では出せない速度です。さっそく発表者がコードのレビューをおこなっています。ざっと見た感じしっかり作ってそうですが、エンジニア側が高速化する以上、マネージャー側も高速化しないといけません。そこで作成されたコード、アプリケーションがセキュリティ脆弱性が含まれていないか、レビューする際に力を発揮するのが紹介されるTAKUMI（テレビショッピングの流れですねw） TAKUMIはSlackに常駐し、チャンネルごとにアクセスできるデータ（ソースコード）が分離されているとのこと。先ほどDevinがpushしたリポジトリにアクセス権を与え、脆弱性診断を指示すると、こちらも勝手にレビューを行います。Slackに何を確認しているのかを投稿しているのは面白いですね。TAKUMIはその性質上、スピードよりは繰り返しのレビューを行うことで、精度を重視しているとのこと。数時間くらいかかるそうなので、仕事が終わったら走らせて、翌朝レポートを見る、という運用がよさそう。脆弱性があるライブラリを見つけてくれたり、想定していないユーザが閲覧できてしまう権限が設定できてしまう、などの脆弱性診断結果レポートをアウトプットしてくれました。

で、ここからが本番。タイトルでは「vs」と書いてありますが、（アニメのvsが付いているやつと同じでw）最終的にはDevinとTAKUMIは協力します。TAKUMIのレポートをDevinに食べさせると、レポートで指摘された箇所を修正してくれます。うーん、人間のやることは仲介することだけか。そして修正されたコードをあらためてTAKUMIにレビューさせます。この動画が配信された4月当時TAKUMIは先行レビュー中とのこと。現在セキュリティの要件はどんどん厳しくなっており、インシデント発生時の責任も重たくなってきます。そんなときにこういうツールが業務を助けてくれるとありがたい存在でしょうね、とても面白い配信でした。