Skip to content
所有標籤

#llm-as-judge

3 篇文章
aideep-dive

投稿前怎麼請 AI 審稿:哈佛 King 與 Worthington 的實驗、提示詞與限制

King 與 Worthington 拿 124 篇稿件的 134 份付費專家預審,對照 Claude Opus 4.8 的審查:GPT-5.5 評審的 132 組有定論配對全選 AI,3 位前任編輯在 30 次判斷中選了 26 次。結論只適用於投稿前的建設性意見,不等於期刊審查。

評估與上線:怎麼知道 AI 知識庫好用,上線後怎麼持續變好

評估要分兩層:檢索有沒有找到出處段落,回答有沒有依據段落、答得對不對。只看回答會被騙:一項研究發現,給的資料不足以回答時,模型仍有三到六成答對,靠的是它自己的知識,換成只有你們公司答得出的問題就會壞。用 order 11 的測試題兩層都評,越權題和答不了的題也要評;LLM 當評審要跟人工抽樣校準。上線後,把轉人工、被抱怨的對話整理成失敗案例,交回文件負責人修,再加進測試題。

aideep-dive

Braintrust:把 LLM 評估做成從 Dataset 回到 Production 的迴圈

Braintrust 把 versioned datasets、immutable experiments、scorers 與 production traces 接成同一個評估迴圈;它的價值不是多一個分數,而是把線上失敗送回離線測試。公司在 2026-02 宣布 8,000 萬美元 B 輪,客戶名單為公司自報。