測試你的 LLM 應用抗不抗攻擊：garak、promptfoo、PyRIT、HackAgent 的成功率怎麼讀
兩份都寫「攻擊成功率 5%」的報告不能直接比：數字背後有誰出題（攻擊者模型）、誰判定（judge，負責判定的模型或規則）、分母算什麼三個變數。garak 官方 FAQ 說自己的分數沒有科學效度，HackAgent 白皮書裡兩個模型的先後會隨 judge 門檻翻轉。我查到的資料裡，四個工具都沒有獨立的準確度評測。
#red-teaming
4 篇文章Agent 安全——四種威脅模型，加上沙盒、憑證代管與監控三道限制｜CMU 11-768 第 13 堂
第 13 講的主軸是「限制 agent 能存取什麼、能做什麼」。投影片先用五個真實事件說明出事的方式，再歸成四種威脅模型（惡意使用者、prompt injection、agent 失誤、不當手段）；對策分四層：訓練端的 red teaming 與安全訓練、執行端的沙盒與憑證代管、事後與即時的監控，以及安全評測。最容易被忽略的一點是：把 API key 藏起來，不等於 agent 不能濫用它背後的權限。
挑一張 headline figure 重現並延伸｜Harvard CS2881R 主題單元
CS2881R 的期中作業不是考試，是 2–4 人一組，從四篇 AI 安全論文裡挑一篇，重做它最核心的那張圖或表，再做一到兩個延伸，交 3–5 頁報告與 GitHub。規格投影片與評分表都公開，校外讀者可以完整照做。評分表把最多分數給「重現」與「延伸」，另外專門留一分給「你對結果有多脆弱的反思」——這一分正是這份作業想訓練的研究習慣。
Promptfoo 深入介紹：把 LLM Eval 與 Red Team 寫進本機測試迴圈
Promptfoo 用 YAML 把 prompts、providers、test cases 與 assertions 組成可在本機與 CI 重跑的 LLM 評估矩陣，並共用同一套 target 做 red team；它降低測試門檻，但隨機輸出、LLM judge 偏差與 hosted data flow 仍要另外治理。