同一個 AI 模型，一個抓到 92% 的漏洞，一個只抓到 34%——差別不在模型，在這一層

如果底層模型完全一樣,為什麼只靠「加一層方法論」,就能讓偵測率從 34% 跳到 92%,差這麼多？

前沿模型本身是一個通用能力很強的系統,但沒有特別被引導去用特定方式思考一個特定領域的問題時,它處理任何任務的方式都是「泛用模式」——面對一份智能合約程式碼,裸模型可能會給出一般性的程式碼審查意見,但不會自動知道該優先檢查哪幾類 DeFi 特有的漏洞模式(例如重入攻擊、價格操縱、權限控制漏洞各自該用什麼流程去驗證)。報告說的「結構化審查階段」跟「DeFi 專屬安全啟發式規則」,本質上是把資安專家過去抓漏洞時的實務流程、檢查清單、常見漏洞模式庫,轉換成一套引導模型逐步檢視的框架——模型的推理能力沒有變,但被引導去用對的方式、按對的順序、檢查對的地方,結果差距因此被放大。

Cecuro 選擇不公開完整工具,理由是怕被拿去做攻擊用途——但資料集本身都已經公開了,這樣的保留措施實際上有意義嗎?

有意義,但意義是有限的,而且這正是這類研究普遍面臨的兩難。公開基準測試資料集(90 個已經公開過的歷史漏洞合約),讓其他研究者可以用同一套標準比較不同系統的偵測能力,這件事本身的風險相對低,因為這些漏洞案例本身早就是公開資訊,知道「過去這些合約出過什麼問題」跟實際擁有一套能主動掃描、找出新漏洞的完整系統,是兩個完全不同層級的能力。後者如果被公開,等於直接把一套「自動找漏洞」的工具交到任何人手上,不管使用者本來的意圖是防禦還是攻擊。保留完整工具的做法,縮小的是「誰能方便地取得這個能力」的範圍,但沒辦法阻止其他團隊自己重新做出類似的系統——這是一個拖延時間、不是徹底阻絕的做法。

如果我是 DeFAI 產品的使用者,看到一個協議宣稱「有用 AI 做安全審計」,實際上該追問哪些具體問題,才能判斷這句話有沒有實質內容?

可以具體追問的問題包括:用的是哪個模型,有沒有針對 DeFi 或這個協議所屬的特定子領域(例如借貸、衍生品、跨鏈橋)做過專門的方法論設計,還是直接拿通用模型套用;這套審計系統在公開的歷史漏洞資料集上測過的偵測率是多少,有沒有可驗證的具體數字(而不是「準確率很高」這種模糊說法);審計是一次性執行,還是持續性監控——因為新的攻擊手法跟漏洞模式會不斷出現,一次性的審計結果,隨著時間推進,代表的保障程度會逐漸下降。問不出這些問題具體答案的協議,通常代表「用 AI 做審計」這句話,目前只是行銷敘事,還沒有被真正的方法論支撐起來。

這份研究對「用 AI 做防禦」這個方向,到底是樂觀的證據,還是悲觀的證據?

兩者都是,取決於你看的是哪一半。樂觀的部分是:92% 的偵測率證明「針對性設計過的 AI 系統」確實可以做到接近實用等級的防禦能力,這不是空想,是已經被量化驗證過的結果。悲觀的部分是:34% 這個對照數字,正好說明目前市面上大多數宣稱「用 AI 做安全」卻沒有公開具體方法論或偵測率數字的產品,很可能實際表現更接近那個較低的基準,而不是那個經過精心設計的 92%。這份研究真正的價值,不是告訴你「AI 防禦有沒有用」,而是告訴你:同一個詞彙(AI 資安)底下,可能藏著效果相差三倍的產品,而你作為使用者,光看行銷說法是分辨不出來的。