投稿前怎麼請 AI 審稿:哈佛 King 與 Worthington 的實驗、提示詞與限制
King 與 Worthington 拿 124 篇稿件的 134 份付費專家預審,對照 Claude Opus 4.8 的審查:GPT-5.5 評審的 132 組有定論配對全選 AI,3 位前任編輯在 30 次判斷中選了 26 次。結論只適用於投稿前的建設性意見,不等於期刊審查。
King 與 Worthington 拿 124 篇稿件的 134 份付費專家預審,對照 Claude Opus 4.8 的審查:GPT-5.5 評審的 132 組有定論配對全選 AI,3 位前任編輯在 30 次判斷中選了 26 次。結論只適用於投稿前的建設性意見,不等於期刊審查。
評估要分兩層:檢索有沒有找到出處段落,回答有沒有依據段落、答得對不對。只看回答會被騙:一項研究發現,給的資料不足以回答時,模型仍有三到六成答對,靠的是它自己的知識,換成只有你們公司答得出的問題就會壞。用 order 11 的測試題兩層都評,越權題和答不了的題也要評;LLM 當評審要跟人工抽樣校準。上線後,把轉人工、被抱怨的對話整理成失敗案例,交回文件負責人修,再加進測試題。
Braintrust 把 versioned datasets、immutable experiments、scorers 與 production traces 接成同一個評估迴圈;它的價值不是多一個分數,而是把線上失敗送回離線測試。公司在 2026-02 宣布 8,000 萬美元 B 輪,客戶名單為公司自報。