基盤となるモデルが完全に同じであるなら、なぜ「方法論の層を1つ加える」だけで検知率が34%から92%まで跳ね上がるほどの差が生まれるのか？
最先端モデル自体は非常に高い汎用能力を持つシステムだが、特定の領域の問題を特定の方法で考えるように特別に導かれていない場合、どのタスクに対しても「汎用モード」で処理してしまう。あるスマートコントラクトのコードを見せられた素のモデルは、一般的なコードレビューのコメントを出すかもしれないが、DeFi特有のどの脆弱性パターンのカテゴリーを優先的に確認すべきか(例えば、再入攻撃、価格操作、アクセス制御の欠陥それぞれについてどのような検証プロセスを実行すべきか)を自動的に把握しているわけではない。レポートが言う「構造化されたレビュー段階」と「DeFi特化型のセキュリティ・ヒューリスティクス」とは、本質的には、セキュリティ専門家が実際に脆弱性を発見する際の作業フロー、チェックリスト、よくある脆弱性パターンのライブラリを、モデルを段階的に導くフレームワークに変換したものだ。モデル自体の推論能力は変わっていない——正しい方法で、正しい順序で、正しい場所を確認するように導かれただけであり、それによって結果の差が大きく増幅されているのだ。
Cecuroは完全なツールを公開しないことを選んだ。その理由は攻撃用途に転用されることを恐れたからだが、データセット自体は既に公開されている。この種の自制には実際に意味があるのか？
意味はあるが、その意味は限定的であり、まさにこれがこの種の研究が一般的に直面するジレンマだ。ベンチマークデータセット(すでに公開されている90件の過去の脆弱性コントラクト)を公開することで、他の研究者が同じ基準で異なるシステムの検知能力を比較できるようになる。これ自体のリスクは比較的低い。なぜならこれらの脆弱性のケースはそもそも既に公開情報だったからだ。「これらのコントラクトが過去にどのような問題を抱えていたか」を知ることと、実際に新しい脆弱性を能動的にスキャンして発見できる完全なシステムを持つことは、まったく異なるレベルの能力だ。後者が公開されれば、それは本質的に「自動的に脆弱性を見つける」ツールを、意図が防御的であれ攻撃的であれ、誰の手にも渡すことになる。完全なツールを保留する措置は、「誰がその能力に容易にアクセスできるか」の範囲を狭めるが、他のチームが独自に似たようなシステムを再構築することを止めることはできない——これは時間を稀ぐ措置であり、完全に阻止する措置ではない。
自分がDeFAI製品のユーザーで、あるプロトコルが「AIを使ってセキュリティ監査をしている」と主張しているのを見た場合、その主張に実質的な内容があるかどうかを判断するために、具体的にどのような質問を追及すべきか？
具体的に尋ねるべき質問には次が含まれる:どのモデルを使用しているか、DeFi全般、あるいはこのプロトコルが属する特定のサブ領域(レンディング、デリバティブ、クロスチェーンブリッジなど)向けに専用の方法論が設計されているか、それとも汎用モデルをそのまま適用しているだけなのか。この監査システムが公開されている過去の脆弱性データセットで実際に測定した検知率はいくつで、「精度が高い」といった曖昧な主張ではなく、検証可能な具体的な数字があるか。監査は一度限りの実行なのか、それとも継続的な監視なのか——新しい攻撃手法や脆弱性パターンは絶えず出現するため、一度限りの監査結果が示す保証の度合いは時間とともに低下していく。これらの質問に具体的な答えを出せないプロトコルは、通常「AIを使って監査している」という言葉が、現時点では実際の方法論に支えられていない単なるマーケティング上の物語であることを示している。
この研究は「AIを防御に使う」という方向性にとって、全体として楽観的な証拠なのか、それとも悲観的な証拠なのか？
どちらの半分を見るかによって、両方だと言える。楽観的な部分は:92%という検知率が、専用に設計されたAIシステムが実用レベルに近い防御能力を実際に達成できることを証明している点だ。これは思索ではなく、すでに定量的に検証された結果だ。悲観的な部分は、34%という対照的な数字が、現在市場で「AIを使ってセキュリティをやっている」と主張しながら、具体的な方法論や検知率の数字を公開していない製品の多くが、おそらく実際の性能はその入念に設計された92%よりも、その低いベースラインに近いだろうということを示唆している点だ。この研究の本当の価値は、「AI防御が効果があるかどうか」を教えることではなく、同じ言葉(「AIセキュリティ」)の下に、効果が3倍も異なる製品が隠れている可能性があり、ユーザーとしてはマーケティング上の言葉だけではそれを見分けられないということを教えてくれる点にある。
セキュリティ企業Cecuroが2026年2月20日に発表した研究は、「AIセキュリティツール」というカテゴリーを評価する上で特に有用な比較結果を示した:まったく同じ最先端モデルに、的を絞った方法論を重ねたところ、検知率が34%から92%へと跳ね上がったのだ。この差はどのモデルがより賢いかという話ではなく、素のモデルと、特定の領域向けに実際に設計されたアプリケーション層との間に、どれほどの差が生まれうるかという話だ。
研究チームは、実際に悪用された90件のDeFiスマートコントラクトからなるテストセットを構築した。これらの累積確認済み損失額は2億2800万ドルに達する。専用に設計されたAIシステムは、この90件のコントラクトの中から9680万ドル相当の脆弱性価値を持つ問題を検知することに成功し、検知率は92%に達した。一方、追加の方法論を何も重ねていないGPT-5.1をそのまま使ったベースラインは、750万ドル相当の脆弱性価値しか検知できず、検知率は34%だった。両者は基盤として「まったく同じ最先端モデル」を使用しており、差はすべてアプリケーション層から来ている。レポートはこの層の違いを「DeFi領域向けに設計された検証方法論、構造化されたレビュー段階、そしてモデルの上に重ねられたDeFi特化型のセキュリティ・ヒューリスティクス」と説明している。
この比較実験から得られる最も直接的な教訓は、「我々はAIを使って脆弱性を検知している」という言葉がほとんど何の有用な情報も伝えていないということだ——なぜなら、まったく同じ基盤モデルであっても、専用の方法論でラップされているかどうかによって、検知率が3倍近く変わりうるからだ。あるセキュリティ製品が、どの最先端モデルを使っているかだけを強調し、そのモデルの上にどのような領域特化型の設計が施されているかを説明していないのであれば、その主張自体は品質の保証には全くならない。
注目すべきは、Cecuroがこの検知システムの完全版を公開しなかったと述べている点だ。その理由は、同じツールが攻撃目的に転用される可能性を懸念したためだ——「脆弱性がどこにあるかを見つける」という同じ能力が、使う人が変われば「どこを攻撃すればよいかを見つける」能力になってしまう。公開されているのはベンチマークデータセットと方法論レベルの発見であり、他の研究者が同じベンチマークを使って異なるシステムを比較できるようにするものだが、誰かに既製の攻撃用または防御用ツールを渡すものではない。
この研究で引用されている別の数字は、同時期の他の機関による観察とも共鳴している:AnthropicとOpenAIの研究によれば、AIエージェントがエンドツーエンドの脆弱性利用を実行する際の平均コストはコントラクト1件あたり約1.22ドルであり、この種の攻撃能力はおよそ1.3ヶ月ごとに倍増している。これら2つの研究を合わせて見ると、同じ傾向の2つの側面が描かれている:攻撃側がこの能力を獲得するコストは急速に下がっており、防御側が方法論レベルの差に向き合わずに単に「AIツールを導入する」だけであれば、加速し続ける能力を持つ相手に対して、検知率34%のシステムで対抗することになりかねない。