Skip to content
所有標籤

#promptfoo

4 篇文章
ai guide Ask AI 實戰

Ask AI Retrieval Eval 怎麼做:Golden Contract、Fixture、Live Run 與證據邊界

Ask AI 把 golden contract、offline fixture、live SSE output 與 production observation 分開保存。fixture 全綠只證明 harness 可重現;public sources 可以量 expected-source recall,不能拿來宣稱看過 hidden ranked chunks 或 model-graded faithfulness。

ai deep-dive

Promptfoo 深入介紹:把 LLM Eval 與 Red Team 寫進本機測試迴圈

Promptfoo 用 YAML 把 prompts、providers、test cases 與 assertions 組成可在本機與 CI 重跑的 LLM 評估矩陣,並共用同一套 target 做 red team;它降低測試門檻,但隨機輸出、LLM judge 偏差與 hosted data flow 仍要另外治理。

Promptfoo Red Team:把 Prompt Injection、Tool Misuse 與資料外洩變成 Regression Tests

Promptfoo 以 plugins 產風險 probes、strategies 變形攻擊、targets 執行系統、graders 判斷結果;有價值的 red team 必須測整個 agent application,而不只是 foundation model。

ai guide RAG 技法大全

RAG 評估框架與工具選型:Promptfoo、RAGAS、DeepEval、TruLens

RAG 評估沒有指定工具的業界標準;先把 retrieval、generation、operation 分開量,再依技術棧選 Promptfoo、RAGAS、DeepEval 或 TruLens。