用 AI 寫教材、當家教,研究測到什麼:內容錯誤率、人工把關、學生評分與家教實驗
讓 GPT-3.5 直接寫代數與統計的解題提示,32% 的題目答案和過程都錯;人工逐題篩過之後,學習效果和真人寫的提示分不出差異。AI 家教的隨機實驗有正有負:不設防的聊天機器人讓高中生考試變差,正向結果多半綁著逐題寫好的解答、老師在場或多出來的上課時間,而且沒有一個研究隔一段時間再考同樣的內容。
讓 GPT-3.5 直接寫代數與統計的解題提示,32% 的題目答案和過程都錯;人工逐題篩過之後,學習效果和真人寫的提示分不出差異。AI 家教的隨機實驗有正有負:不設防的聊天機器人讓高中生考試變差,正向結果多半綁著逐題寫好的解答、老師在場或多出來的上課時間,而且沒有一個研究隔一段時間再考同樣的內容。
每天 30 分鐘、持續 12 週,用跟讀法+情境模擬+AI App 三件組合,讓職場英文從「聽得懂但說不出來」變成能開會能簡報。
AI 教育界被引用最多的那篇 meta-analysis(g = 0.867、瀏覽近 50 萬次)已於 2026 年 4 月被 Nature 撤稿。但正向結論沒被推翻——問題是它測的是「AI 在手時的表現」。Bastani 的 PNAS RCT 測了另一件事:練習時用 GPT-4 正確率 +48%,收走後考試比從沒用過的低 17%。