教學文章的寫法能不能用實驗驗證：平台 A/B 測試、放大重做、評量表與設計研究法的證據
ASSISTments 彙整 50 個作業實驗，給提示、拆小題、例題比只給答案好 d = 0.16–0.27，量的是作業當下的表現；在少數課有效的介入放到 247 門 MOOC，主要假說都沒有複製。課程品質評量表多半沒有公開報告信效度；一所大學的實測裡，九個面向沒有一個對通過率有顯著的直接路徑。設計研究法的回顧都在看報告怎麼寫，沒有一篇比較它做出的教材是否較有效。
#ab-testing
4 篇文章Prompt 版本控制：改一個字可能讓 eval 從 5/5 掉到 0/5
Looplane 的 prompt 已到 `m3-exact-edit-v4`：版本寫進 artifact，core/tool/interaction/runtime/instructions/skills/workspace/memory 以 stable/dynamic section 組裝，並加入 replace_text、unified diff、direct reply 的正反例。unit tests 已釘住結構，live eval 覆蓋仍需擴大。
調整 agent 之後，怎麼嚴謹比較前後差異：從 golden set 到統計檢定
即使 temperature=0，LLM 輸出實測仍可能抖動 15%。要嚴謹比較 agent 調整前後，得靠凍結 golden set、每題跑 ≥3 次取平均、LLM-as-judge 盲評（pairwise 偏好翻轉率高達 35%）與配對統計檢定，而不是前後各問一遍看感覺。
RAG A/B 測試：怎麼科學地比較兩個 Pipeline 配置
「加了 Cross-Encoder 之後感覺好多了」不是科學的評估。A/B 測試讓你知道改動是否真的有效，效果多大，在哪類查詢上有效。