Skip to content
所有標籤

#ab-testing

3 篇文章
ai deep-dive 跟成熟 coding agent 學設計

Prompt 版本控制：改一個字可能讓 eval 從 5/5 掉到 0/5

Looplane 的 prompt 已到 `m3-exact-edit-v4`：版本寫進 artifact，core/tool/interaction/runtime/instructions/skills/workspace/memory 以 stable/dynamic section 組裝，並加入 replace_text、unified diff、direct reply 的正反例。unit tests 已釘住結構，live eval 覆蓋仍需擴大。

#coding-agent#prompt-engineering#versioning#eval#ab-testing
ai deep-dive

調整 agent 之後，怎麼嚴謹比較前後差異：從 golden set 到統計檢定

即使 temperature=0，LLM 輸出實測仍可能抖動 15%。要嚴謹比較 agent 調整前後，得靠凍結 golden set、每題跑 ≥3 次取平均、LLM-as-judge 盲評（pairwise 偏好翻轉率高達 35%）與配對統計檢定，而不是前後各問一遍看感覺。

#evaluation#rag#llm-judge#ab-testing#ai-agent#llm
ai guide RAG 技法大全

RAG A/B 測試：怎麼科學地比較兩個 Pipeline 配置

「加了 Cross-Encoder 之後感覺好多了」不是科學的評估。A/B 測試讓你知道改動是否真的有效，效果多大，在哪類查詢上有效。

#rag#ab-testing#experimentation#metrics#pipeline