測試你的 LLM 應用抗不抗攻擊：garak、promptfoo、PyRIT、HackAgent 的成功率怎麼讀
兩份都寫「攻擊成功率 5%」的報告不能直接比：數字背後有誰出題（攻擊者模型）、誰判定（judge，負責判定的模型或規則）、分母算什麼三個變數。garak 官方 FAQ 說自己的分數沒有科學效度，HackAgent 白皮書裡兩個模型的先後會隨 judge 門檻翻轉。我查到的資料裡，四個工具都沒有獨立的準確度評測。
#promptfoo
5 篇文章Ask AI Retrieval Eval 怎麼做：Golden Contract、Fixture、Live Run 與證據邊界
Ask AI 把 golden contract、offline fixture、live SSE output 與 production observation 分開保存。fixture 全綠只證明 harness 可重現；public sources 可以量 expected-source recall，不能拿來宣稱看過 hidden ranked chunks 或 model-graded faithfulness。
Promptfoo 深入介紹：把 LLM Eval 與 Red Team 寫進本機測試迴圈
Promptfoo 用 YAML 把 prompts、providers、test cases 與 assertions 組成可在本機與 CI 重跑的 LLM 評估矩陣，並共用同一套 target 做 red team；它降低測試門檻，但隨機輸出、LLM judge 偏差與 hosted data flow 仍要另外治理。
Promptfoo Red Team：把 Prompt Injection、Tool Misuse 與資料外洩變成 Regression Tests
Promptfoo 以 plugins 產風險 probes、strategies 變形攻擊、targets 執行系統、graders 判斷結果；有價值的 red team 必須測整個 agent application，而不只是 foundation model。
RAG 評估框架與工具選型：Promptfoo、RAGAS、DeepEval、TruLens
RAG 評估沒有指定工具的業界標準；先把 retrieval、generation、operation 分開量，再依技術棧選 Promptfoo、RAGAS、DeepEval 或 TruLens。