Skip to content
所有標籤

#source-evaluation

2 篇文章

用 AI 打別人的工具與雙用途風險:Strix、Shannon、HexStrike、ARTEX 的證據讀法

AI 滲透工具把 LLM 當攻擊者,去測傳統軟體。它們有兩個共通問題:工具本身是攻擊面(被測目標可以用 prompt injection 反控它,HexStrike 的伺服器甚至沒有驗證),以及開源之後管不住用途(同一個工具既能做授權測試也能被拿去攻擊,ARTEX 與 HexStrike 的防濫用設定都是操作者可以改的預設值)。讀「某工具被濫用」的新聞,要問誰說的、是不是獨立的證據。ARTEX 事件有多家廠商分析,但其中幾家分析的是重疊的攻擊者基礎設施,或直接引用彼此,不能算成多個獨立證據。

怎麼判斷資安工具的宣稱:OWASP 清單、benchmark 與「已併入某大廠」的檢查表

看到『涵蓋 OWASP 10/10』『已併入 Microsoft 與 Cisco』『偵測率 9X%』時,問五題:誰說的、這個詞指什麼、誰出的題、量的是什麼、一手來源在哪。前面幾篇與這篇補的幾個案例,剛好各示範一題:微軟 toolkit 自己寫 7 項完整、3 項部分;ATR(一套開源的 agent 威脅偵測規則)併入 Microsoft 與 Cisco 的 PR,查過的三處都是作者本人提的;Cisco 自己量的偵測率和獨立研究量的差好幾倍;常見的 benchmark 評的是模型或 agent,不是掃描工具。