把別人的課重新講一次，值得嗎：研究債的論證、開放教科書、換教科書、極簡手冊與文件四分法

🌏 English version

這是「教學文章怎麼寫」系列的第 27 篇，屬於最後一部分「怎麼知道有效，怎麼做出來」。前面的篇談作者手上的訊號量到什麼、大規模實驗與評量表能告訴我們什麼；這篇往回退一步，問一個更根本的問題：這種文章該不該寫。

起因是本站的課程導讀。這些文章做的事，說穿了就是把別人的課重新講一次。Harvard CS50 AI 的七週導讀依講課錄影的英文字幕與課程官網，把每週的講課與專案寫成中文；Stanford CS229 的各堂導讀依 Spring 2026 公開錄影的字幕與講義寫成。原課本身是公開的，錄影、講義、作業規格都在網路上。所以每寫一篇都會碰到同一個問題：讀者為什麼不直接看原課？花力氣重講一次，值得嗎？

這個問題拆成三塊來查。第一，「把東西解釋清楚」值得多花力氣的論證是什麼。第二，同一門課換一份教材，學習成果差多少：這方面最接近的資料是開放教科書與付費教科書的比較，以及同主題不同教科書的比較。第三，重寫要寫成什麼樣子，包括把現成手冊改寫的實驗，以及把文件分成幾種類型的做法。最後一節談公開之後的事：教學文章放上網路之後，要花多少力氣維護。

來源怎麼選、有什麼偏向。這篇的來源是先掃描文獻、再挑出來精讀的，條件是會用到數字的結論都要有一篇能從頭讀到尾的來源，而且要有結果相反或沒有效果的研究。最後讀了七份：一篇立場文（Research Debt）；開放教科書的一份統合分析（把許多研究的結果合併估計）與一份敘述性綜述；一份教科書比較的準實驗；一份極簡手冊的統合分析；Diátaxis 官網的三頁；一份教學文章可執行性的實證研究。偏向很明顯：全部是英文文獻；開放教科書與教科書比較的研究幾乎都在美國的學校裡做，有老師、有成績；沒有一篇研究的是自學者讀網頁上的導讀。列在參考資料裡的每一篇都從頭讀到尾，並留有抽取紀錄；只知道存在、沒讀到合法公開全文的研究，文中會明說，不引它的結果。

先看結論

g 與 d 都是標準化的平均差，0.2 左右算小、0.5 左右算中、0.8 以上算大。這張表的意思不是「重講沒用」：開放教科書與教科書比較的研究，比的都是「換一份同主題的教材」，不是「同一份內容重新講清楚」。後者正好是沒有人測過的那一塊。

研究債：一對多的論證

Chris Olah 與 Shan Carter 2017 年在 Distill 上發表〈Research Debt〉。這是一篇立場文，沒有受試者，也沒有資料，論證靠比喻、一個放在註腳的式子，以及作者自己的經驗。

文章開頭把取得研究等級的理解比成爬山，並說山上其實可以修路、蓋階梯；註腳說明，路與階梯指的是真正出色的教學文、回顧文章與教科書。沒有人修路，每個後來的人都得自己爬，這就是研究債。文章的定義是「Research debt is the accumulation of missing interpretive labor.」interpretive labor 指的是「解釋的人花的力氣」和「理解的人花的力氣」之間的抵換：解釋的人多花一點，理解的人就少花一點。文章的核心論證是一對多的情況：

In these one-to-many cases, each member of the audience pays the cost of understanding, even though the cost of explaining stays the same.

意思是，一篇解說寫一次，讀的人越多，替所有讀者省下的理解成本就越多。註腳把這個說法寫成一個複雜度式子，還舉了一位作者部落格的讀者數換算成省下的時間（數字在附錄）。式子裡的係數沒有任何估計值，讀者數是作者自述、沒有出處。

這篇文章也列了研究債的四項：解說不好、想法沒消化、抽象與記號不好、雜訊太多。記號那一項在第 4 篇談過。

拿這篇來支持「重講一門課值得」，有三件事要先講清楚。

第一，它談的是研究社群裡的研究者彼此理解。註腳的式子設定是「N 個人互相理解」，不是「一位作者對 N 位讀者」；文章沒有談課程教材，也沒有談一般學習者。把它搬來支持課程導讀，是我的延伸。

第二，它給「誰來重講」設了條件。原文說，研究債不能靠一個人寫一本教科書解決，因為一個人的力氣不夠把每個想法都從頭磨亮；也不能外包：

We can’t outsource distillation to less skilled non-experts: refining and explaining ideas requires creativity and deep understanding, just as much as novel research.

文章前一段還說，好的解說常常要改造想法本身，而這種改造可能和最初發現它一樣費力。也就是說，這篇文章主張的不是「多寫解說」，是「由真正懂的人花大力氣寫解說」。

第三，它對「為什麼很少人做這件事」的回答是作者的意見。作者認為主因不在不良誘因（註腳說這是他們的經驗，也許其他領域不同），而在沒有支持：做解說的人缺職涯、缺學習的地方、缺榜樣，而且這種工作不被當成真正的研究貢獻。

本站的導讀有不少是由 AI agent 依講義與字幕起稿，再由另外的 agent 審稿（第 22 篇提過起稿這件事）。照上面那段原文的標準，這個流程算不算「外包給不夠專業的非專家」，沒有研究測過；之後的篇會談 AI 寫教材的證據，以及本站審稿實際擋下哪些錯。

開放教科書：學習表現沒有可靠差異，退選較少

最接近「換一份教材，學習差多少」的大型資料，是開放教科書的研究。開放教科書（open textbook，屬於開放教育資源 OER 的一種）是授權開放、學生免費取得的教科書；研究拿它和學生要付費購買的商業教科書比。

統合分析：平均等於零

Virginia Clinton 與 Shafiq Khan 2019 年的統合分析事先登記了分析計畫，納入 22 個研究，全部是大學與學院的課，地點以美國和加拿大為主。作者在導言就說，教科書幾乎不可能隨機分派，所以納入的研究幾乎都是準實驗：用開放教科書的班和用商業教科書的班，常常是不同老師、不同學期、不同的考法。學習表現多數是課程成績或「有沒有拿到 C 以上」，兩組用同一份測量的只有 8 個研究。

主要結果是學習表現沒有可靠的差異，g = 0.01。作者另外做了等價檢定，結論是效果在 ±0.2 個標準差的範圍內統計上等同於零。各研究的結果彼此差很多，個別研究從明顯較差到明顯較好都有。作者想用「有沒有控制先備成就」「是不是同一位老師」「是不是同一份測量」解釋這些差異，兩個變項的自由度太低，作者說結果不可信、無法判定；第三個不知道是真的沒有差別還是檢定力不足。所以摘要裡「沒有找到顯著的調節變項」是「沒檢出」，不是「檢驗過、沒有」。

退選這一側，用開放教科書的課退選較少，勝算比 0.71（11 個研究）。這個結果比學習那一側弱：11 個研究裡有 6 個的退選數字是私下向原作者要來的，作者因此沒有做出版偏誤的檢查，也因為研究太少沒做調節分析；有一個研究顯著地往反方向。作者自己提醒要謹慎解讀。它只能寫成「用開放教科書的課退選較少」，不能寫成開放教科書讓學生少退選。

兩個結果要一起看。作者在限制裡指出，退選的人通常學業背景較弱；兩組退選率不同，留下來修完課的人組成就不同。學習表現那個 g = 0.01 是在修完課的人身上比的，兩組留下來的人可能不一樣。

作者討論「為什麼學習沒有差別」時列了好幾種可能，最後一種是教科書的類型可能本來就對學習影響很小（「the type of textbook simply has little influence on student learning」）。這是推測，不是這份統合分析的結果。作者舉的依據是另一個比較不同出版商教科書的實驗（Durwin 與 Sherman 2008），以及兩個所有學生都拿得到商業教科書的研究。

敘述性綜述：「影響小但為正」

John Hilton III 2020 年的綜述整理 2015 到 2018 年發表的開放教育資源研究，其中比較學習成效的 16 篇。它和上面那份統合分析有 12 篇重疊。

做法不同：Hilton 沒有算效果量，是逐篇摘要後數「幾篇偏向哪一邊」。Hilton 在表末數出 9 篇偏向開放教材、1 篇偏向商業教科書，其餘沒有差異、結果混合或沒有討論顯著性。合計 2002 到 2018 年的研究，Hilton 的結論是開放教材不傷害學習，影響小但為正。Hilton 自己也說，這是質性的綜述，還需要量化的統合分析。

逐篇的細節裡，有幾個對「換教材」比對「開放與否」更有啟發：

• 測驗和哪份教材對齊，會決定誰贏。Gurung 2017 的第二個研究整體偏向商業教科書，但只用開放教材那本書的題庫出題時，沒有測到差異。
• 配套練習可能比課文重要。Chiorescu 2017 裡，老師用完開放教材後換回商業教科書，成績與退選率也回到原來的水準；換回的原因是開放教材搭配的線上數學練習系統比較差。
• 平均之下有方向相反的族群。Colvard 2018 裡，兼讀生拿 D、F 或退選的比率大幅下降，全職生反而略升。
• 換教科書常常和其他改變同時發生。Hendricks 2017 換教科書的同時，教法也大改了。

這幾項都是 Hilton 轉述的單篇研究。

Hilton 在利益衝突聲明裡寫明曾獲 William and Flora Hewlett 基金會的研究經費，並說那些經費和這篇綜述沒有直接關係。16 篇裡也有 Hilton 自己參與的研究。

讀者說「一樣好或更好」

Hilton 也整理了 20 篇觀感研究。請用過兩種教材的學生或老師直接比較的研究，每一篇都是明顯多數的人說開放教材一樣好或更好。但兩組學生各自評自己手上那本的 5 篇裡，2 篇商業教科書評分較高、2 篇開放教材較高、1 篇相近。

Hilton 自己對這批結果有三個保留。第一，主要的模式是學生不喜歡付錢買教科書，所以偏好免費的選項；不少老師也察覺學生的這種偏好，這可能影響老師自己對開放教材的評分。第二，最大的一份學生調查裡，學生評開放教材「比較好」的比例，和評這門課的教學「比較好」的比例幾乎一樣，可能是對整門課的好感帶到了教材上。第三，Hilton 明寫「student preference does not necessarily equal better learning」，並轉述另一個研究：學生的小考成績和他們對教科書的評分沒有測到相關。

讀者說喜歡不等於讀者學到，前面的篇從作者手上的訊號那一端談過；讀者自己判斷懂了沒有多準，見第 15 篇。

這批研究比的是什麼

開放教科書的研究比的是授權與價格：兩本書是不同作者寫的不同的書，差別混著價格、取得的難易、內容、老師。它們沒有測「把同一份內容重新講清楚」。對本站有用的結論只到這裡：在大學課堂上，換成一本免費的開放教科書，平均來說學習表現沒有可靠的差別。

換一套同主題的教科書

如果把價格拿掉，只比「同一科的不同教科書」呢？

Cory Koedel 等人 2017 年的研究用加州 2008 與 2009 年那一輪採用的四套小學數學教科書。四套都通過州的審定。研究的單位是學校：作者從各校公開的報告卡人工抄出每所學校用哪一套，拿學校平均的三年級州數學測驗成績比，最後分析 1,878 所學校。教科書不是隨機分派的，所以作者用傾向分數配對，讓採用不同教科書的學校在採用前的成績、學生組成、學區規模等 22 個條件上盡量相近。

主要比較是其中一套 California Math 對「另外三套合起來」。結果是 California Math 的學校成績較高。三種估計方法裡，達到統計顯著的兩種估出 0.05 到 0.065 個學生層級標準差。作者把它換算成學校排名：大約是把排在中間的學校往前推到第 54 到 56 百分位。作者在概念上比較偏好的配對估計，點估計相近（0.06 到 0.08），但標準誤大很多，四年的估計都不顯著。

幾個條件要一起記：

• 只有一套顯得較好，另外三套之間沒有測到差異。作者一開始做了六組兩兩比較，24 個估計值只有 1 個顯著，檢定力不夠；主要比較的設計是看過這批結果之後才改成「一套對另外三套合起來」的。另外三套「差不多」，依據是一批不顯著、標準誤很大的點估計，作者的用詞是「point toward」。
• 用越久沒有越好。學生用了三年的世代，效果沒有比只用一年的大。作者列了幾種可能，都是推測。
• 作者說不出這套書好在哪。四套書的特徵公開資料很少，作者說要把教科書的特徵連到效果，目前解釋太多、估計太少。
• 作者說這個差距落在先前同類研究的低端。Koedel 等人轉述的先前研究在 0.08 到 0.17 之間。

作者強調，選哪一套書的邊際成本近乎零，而且影響的是所有用這套書的學生。這裡要注意，作者在註腳承認不知道這四套書的實際定價，「近乎零」是依其他研究的平均價格推論的。

另一份是 Blazar 等人 2019 年的教科書比較（Harvard CEPR 的 Learning by the Book）。這份研究存在，但我只讀到專案頁，沒有讀到報告本身，所以不引它的結果，也沒辦法把它和 Koedel 等人並列比較。

Hilton 的綜述在導言轉述了兩份更早的整理：Slavin 與 Lake 2008 年的數學課程綜整認為教學的改善比課程的選擇影響更大；美國國家研究委員會 2004 年檢視 19 套 K-12 數學教材的研究，無法判定哪一套最有效。

合起來能說的是：同一科、都過了審定的教科書之間，換一套對平均成績的影響很小，而且研究說不出差在哪些特徵。這仍然不是「重講」：四套書是四個團隊各自從頭寫的，不是同一份內容的改寫。

把現成的教材重寫：極簡手冊

真的在比「拿一份現成教材重新寫過，跟原版比」的，是 1980 年代電腦手冊的研究。

做法是把原本依系統功能編排的手冊，重新設計成極簡手冊（minimal manual）。代表性的研究是 John Carroll 等人 1987 年的〈The Minimal Manual〉，以及 Ard Lazonder 與 Hans van der Meij 1993 年的〈The minimal manual: is less really more?〉。這兩篇研究存在，但我沒有讀到合法公開的全文。

我能讀到全文的，是 Paul Ginns、Nina Hollender、Peter Reimann 的統合分析。這是寄存在 ERIC 的文件，沒有期刊名、沒有 DOI，看不出經過期刊審查；文件本身沒有印年份，檢索做到 2006 年 3 月。依這份文件的整理，極簡設計有四條原則：以使用者實際要做的工作為錨、讓人一開始就動手、支援辨認和修正錯誤、刪掉多餘的說明。

主分析比較極簡的教材和傳統依系統功能編排的做法，合計 13 個效果量、288 人，平均 d = 1.12，是大效果。13 個效果量全部是正的。

這個數字要連著下面幾點讀：

• 13 個裡有 3 個不是在比手冊。那 3 個比的是「軟體功能逐步開放的自學」對「專業講師帶的訓練」。只算極簡手冊那 10 個是多少，文件沒有分開報。
• 研究很舊、領域很窄。原始研究在 1985 到 1994 年之間，13 個效果量有 10 個和文書處理軟體有關；量的多半是照著操作的表現（完成測驗作業、錯誤數），不是概念理解。
• 樣本小，而且沒有檢查出版偏誤。288 人分在 13 個比較，我算平均每個約 22 人；作者說有些研究每組不到 10 人。文件沒有任何出版偏誤的檢查，而效果量全部為正、樣本又小，正是最需要檢查的情況。
• 不少研究出自提出這個方法的團隊。作者在致謝裡感謝 Carroll、Siegfried Greif、van der Meij 幫忙找研究，表上的研究有不少出自這幾位的團隊；原文沒有把這一點當成限制。

文件另外做了兩個只看單一原則的分析，各只有 3 個研究：強化錯誤辨認與修正 d = 0.59；刪掉多餘的說明 d = 0.89（其中一個研究量的是完成時間）。作者看到後者的效果接近主分析，推測「刪減冗餘」可能是極簡改寫最主要的效果來源，並自己標明這是推測，要用因子設計的實驗才能檢驗。

對「重寫值不值得」最直接的一句，是作者在討論裡提醒要正視重新設計得花的大量力氣（「it is vital to recognise the considerable effort that should go into such redesigns」）。作者接著說，極簡教材應該以反覆迭代的方式開發，每個階段都找實際的使用者做可用性測試；效果最大的那個研究（d = 2.34），作者歸因於依據詳細任務分析設計手冊所投入的力氣。所以這批研究支持的是「經過任務分析與使用者測試的重寫有效」，不是「重寫就有效」。可用性測試本身有沒有貢獻，這份統合分析沒有拿來比較。

文件該不該分類型：Diátaxis

重講一門課時，還要決定寫成哪一種文件：跟著講課走的解說、帶讀者做專案的步驟、還是可以查的參考。技術文件圈常見的一種分法是 Diátaxis，它把文件分成四類：教學（tutorials）、操作指南（how-to guides）、參考資料（reference）、解說（explanation）。第 9 篇已經整理過它的依據，這裡補上另一頁，並拿來對照本站的導讀。

依據是概念推導，不是資料。Foundations 頁從兩個二分的維度推導：技藝包含行動與認知兩面，也需要習得、需要應用。兩個維度相乘是四格，頁面據此說文件「four and only four」種。為什麼只有這兩個維度，頁面直接宣告，沒有論證。頁面開頭自己先打了折：說它有用、感覺也對之後，接著寫：

However, that’s not enough to be confident in Diátaxis as a theory of documentation.

首頁則說它「proven in practice」，已被數百個文件專案採用，附了三則採用者的證言。我讀的首頁、Foundations、How to use 三頁，都沒有引用任何研究；網站其他頁我沒有讀。頁面也說明它服務的對象是某個技能領域裡的實作者，例如使用一種程式語言的人。

它的工作方式反對先搭好結構。How to use 頁說，這套分法是指引，不是計畫；不要先建好四個空的分類再往裡填，也不要把一團亂的文件打掉重練（「If you’re tidying up a huge mess, the temptation is to tear it all down and start again. Again, avoid it.」）。

它建議的做法是一次挑一小段，問四個問題：這段服務哪一種使用者需求、服務得多好、加什麼刪什麼移什麼能服務得更好、語言和邏輯合不合這一類文件的要求；然後只做一個能馬上改善的動作，做完就發布。只讀前兩頁容易把 Diátaxis 讀成「把文件分成四區」，那正是第三頁叫人不要做的事。

公開之後：維護

一對多的論證有一個隱含的前提：解說寫一次，成本就付完了。對含有指令與程式的教學文章，這個前提不成立。

Samim Mirhosseini 與 Chris Parnin 2020 年的研究收了三個網站（Vultr、DigitalOcean、Linuxize）的 663 篇 Ubuntu 系統設定教學，把每個程式碼區塊原封不動當成 shell 指令丟進新開的虛擬機執行。自動替安裝指令加上確認參數之後，有 26% 的程式碼區塊成功執行。

這個數字不是「讀者照做的成功率」：

• 單位是程式碼區塊，不是文章。抽樣的區塊裡約四分之一本來就不是要執行的指令，而是檔案內容、指令的輸出或展示用的文字，機器照樣把它們當指令跑。這個比例是我從原文的分類數字算的。
• 前面一步卡住，後面的區塊就沒被執行到。只算實際跑到的區塊，成功率約四成，這也是我算的。
• 真人會回答提示、把檔案內容存成檔、填自己的 IP。最接近「有人判讀之後照做」的是研究者人工補上標註的那一組：抽 40 篇，約一半的區塊成功，但 40 篇沒有一篇能從頭跑到尾。

剩下的失敗，作者歸納成五類，沒有給各類的比例：假設環境已經準備好（例如沒寫要先更新套件清單、前置條件連到好幾篇別的教學）、檔案內容的區塊沒說要整檔取代還是只改一段、缺步驟或前後矛盾、外部資源失效（下載連結消失、金鑰過期）、需要讀者沒有的資源（網域名稱、付費的雲端服務）。

研究請 6 位在大公司負責技術文件的人看結果並給意見。一位說教學的維護本來就難，目前沒有辦法自動化，每次有更新都要手動改；另一位說自動執行教學並測試是很難的問題。這篇研究沒有量任何維護成本，也沒有讀者的資料；作者自己說樣本不支持對失敗比例做統計推論，執行環境再多花工夫，數字也會更高。

這篇研究的對象是主機商的系統設定教學，不是課程導讀。放到課程導讀上，重講一門有作業與程式的課，成本不會只付寫的那一次；原課改版、套件改版、資料集網址失效，都會讓文章在沒有人動它的情況下變壞。貼在文章裡的程式跑不跑得起來，以及本站 CS50 AI 導讀舊版專案程式的實際狀況，見第 3 篇；本站導讀實際的維護問題，之後的篇會談。

來源說法不同的地方

開放教科書的效果是零，還是小但為正。Clinton 與 Khan 的統合分析把效果量合起來是 g = 0.01，等價檢定判為等同於零。Hilton 的綜述說影響小但為正，依據是 25 篇裡 11 篇偏向開放教材、1 篇偏向商業教科書。兩份有 12 篇研究重疊，但做法不同：數「幾篇顯著」不考慮各研究的樣本大小與效果大小，Hilton 自己也說需要量化的統合分析。同一個研究在兩份裡的人數也常常不同（例子在附錄），不能混用。

換教科書有沒有差別。Koedel 等人看到一套書較好，另外三套之間沒有測到差異。Clinton 與 Khan 推測教科書的類型可能本來就影響很小。Hilton 轉述的較早綜整認為教學的改善比課程選擇影響大。三者量的東西不同：一州四套審定教科書、大學的開放對付費教科書、K-12 數學課程。Blazar 等人的研究我沒有讀到報告，沒辦法列進來。

讀者覺得開放教材好不好。請讀者直接比較兩種教材的研究，每一篇都是明顯多數說開放教材一樣好或更好；兩組各評各的 5 篇，結果是 2 比 2 比 1。Lawrence 與 Lester 2018 的結果相反，用商業教科書的學生滿意的比例較高；Gurung 2017 裡，用商業教科書的學生評分較高，差別出在圖、照片與視覺吸引力。這些都是 Hilton 轉述的單篇。

Diátaxis 有沒有被證實。首頁說它「proven in practice」，依據是採用的專案數與三則證言。Foundations 頁開頭說，光是有用、感覺對，還不足以讓人對它作為文件理論有信心，接著用概念推導補這個缺口。兩頁對「實務上有用」給的份量不同。

教學文章裡的模糊寫法是缺陷還是給人看的。Mirhosseini 與 Parnin 把「檔案內容的區塊沒說怎麼改」列為失敗原因之一，但給意見的文件負責人意見分歧：一位說這種模糊本來就是要引導人類讀者找到檔案裡的對應位置，從來不是寫給機器解讀的；另一位認為用刪節號省略的寫法對讀者沒有幫助。也就是說，「機器跑不過」有一部分不等於「人照做會失敗」。

可以做的事

這個題目沒有直接的研究，下面五條是我從間接證據推出來的做法，每一條附上依據。

1. 動筆前先寫下這篇比直接看原課多給讀者什麼。依據：開放教科書與換教科書的研究裡，換一份同主題的教材，平均差別很小或沒有可靠差別。所以重講的價值不會來自「換一個版本」本身，要來自原版沒有的東西，例如讀者的語言、沒教過的先備、一題能跟著算的例子、附答案的自我檢查。這些各自的證據在前面各篇：先備知識見第 12 篇，語言與翻譯見第 24 篇，例子見第 1 篇，自我檢查見第 9 篇。
2. 重寫時，刪掉讀者用不到的說明，補上做錯時怎麼發現、怎麼修。依據是極簡手冊統合分析的兩個後續分析，各只有 3 個研究，而且是 1985 到 1995 年的軟體手冊；「刪減冗餘是主因」是原作者自己標明的推測。證據弱。
3. 找一兩個真正的讀者試讀，看他們卡在哪裡再改。依據是極簡手冊研究者的建議：重寫要反覆迭代、每一輪都找實際使用者測試。這是作者的建議，統合分析沒有比較有沒有做使用者測試的差別。
4. 改舊文章時一次只改一段，不要打掉重練。依據是 Diátaxis How to use 頁的工作建議，沒有研究。問自己四個問題：這段服務哪一種需求、服務得多好、加什麼刪什麼能更好、語氣和邏輯合不合這一類文件。
5. 把維護算進成本。依據是 Mirhosseini 與 Parnin 的描述性資料，以及文件負責人給的意見。文章裡有指令與程式的，寫明環境與版本，定期在乾淨環境照文章重跑一次。

對照本站的做法

本站課程導讀的寫作規格是 .agents/skills/post/references/course-guide-contract.md。下面是我拿這些研究對照本站的判斷，和這篇有關的有五處：

以 CS50 AI 第 6 週為例：前半「講課導讀」跟著錄影逐段解釋語法、n-gram、詞向量到 Transformer，最接近 Diátaxis 的解說，但每節結尾有一題附摺疊答案的自我檢查，文末還有學習檢核清單，這一層偏向教學；後半兩個專案寫任務、官方提供的程式、解題思路、虛擬碼、容易出錯的地方與怎麼檢查，讀者是在學的過程中完成一個指定的任務，同時有教學與操作指南的性質；完整參考實作摺疊在專案最後，是給卡住的人查的，比較接近參考資料。系列另外有跨週整理與課程回顧，大致屬於解說。這種混合要不要拆開，我會用 Diátaxis 自己的方法判斷：一段一段問它服務哪一種需求，而不是先把結構拆成四區。

還有一點和「一對多」直接有關。這個論證的價值取決於有多少人讀、讀了是否真的省下理解的力氣。正式站至少載入了 Cloudflare Web Analytics，流量統計是匯總的（見第 19 篇），量不到個別讀者讀完有沒有學到；所以「這些導讀替讀者省了多少力氣」，本站目前答不出來。

今晚可以做的三件事

1. 挑一篇自己寫過的課程導讀，在開頭補一句「這篇比直接看原課多給你什麼」。寫不出來的話，先找出原課最難的一段，替它補一個能跟著算的例子或一題附答案的自我檢查。
2. 挑導讀裡一個小節，照 Diátaxis 的四個問題問一遍，只做一個改動：多半是刪掉一段讀者用不到的說明，或把一段解說從操作步驟中間移出去。
3. 開一個乾淨的環境，照一篇含指令的文章從頭做一遍，記下第一個做不下去的地方，修掉它，並在文中寫明環境與版本。

這些證據的限制

• 沒有研究直接測過把一門課重新講一次這件事。開放教科書的研究比的是授權與價格不同的兩本書，教科書比較的研究比的是四個團隊各自寫的書，極簡手冊的研究多數比的是同一套軟體的兩份手冊（13 個效果量裡有 3 個不是手冊）。最後一種最接近，但它是 1985 到 1995 年的軟體操作手冊，不是課程導讀。
• 情境和自學讀者差很遠。開放教科書與教科書的研究都在學校裡做，有老師、有考試、有成績；學習表現多半是課程成績或州測驗。讀者自己找上門讀網頁導讀，沒有任何一篇研究量過。
• 兩份論證不是資料。Research Debt 與 Diátaxis 都是寫作者自己的論證與經驗，沒有對照研究。我沒有找到評估 Diátaxis 的研究；搜不到不等於不存在。
• 極簡手冊的統合分析很弱：沒有經過期刊審查、沒有檢查出版偏誤、效果量全部為正、樣本小、研究多出自提出者的團隊。
• 可執行性的研究是機器執行，不是真人照做；單位是程式碼區塊；只有三個網站的 Ubuntu 設定教學；作者說樣本不支持對失敗比例做統計推論。
• 取樣偏誤：全部是英文文獻；開放教育資源的研究幾乎都在美國與加拿大；中文的開放教材或翻譯教材研究，這次沒有涵蓋。Diátaxis 只讀了三頁。
• 我的推論有七處：把研究債的論證延伸到課程導讀；把「不能外包給非專家」套到 AI agent 起稿；重講的價值要來自原版沒有的東西；重講一門有程式的課要持續付維護成本；CS50 AI 週次導讀對到 Diátaxis 哪幾類；該用 Diátaxis 自己的方法判斷要不要拆；今晚可以做的三件事。正文不逐處標示，集中列在這裡。
• 只知道存在、沒讀到合法公開全文的：Blazar 等人（2019）的教科書比較（只讀到專案頁）、Carroll 等人（1987）的極簡手冊原始實驗、Lazonder 與 van der Meij（1993）的重做。文中不引它們的結果，也不列進參考資料；附錄裡這兩篇極簡手冊研究的效果量，是 Ginns 等人統合分析表上列的數字。
• 轉引：Clinton 與 Khan 轉述的 Durwin 與 Sherman（2008）等三篇；Hilton 轉述的 Slavin 與 Lake（2008）、美國國家研究委員會（2004）、Landrum 等（2012），以及綜述裡逐篇摘要的原始研究；Koedel 等人轉述的先前教科書研究；Ginns 等人轉述的 Merritt（1997）。原文我都沒有讀。

附錄：各研究的設計與數字

正文每項只留一兩個數字，其餘放在這裡。

Olah 與 Carter（2017），Distill。立場文，沒有資料。頁面列了研究債的四項：解說不佳（Poor Exposition）、未消化的想法（Undigested Ideas）、不好的抽象與記號（Bad abstractions and notation）、雜訊（Noise）；原文的用詞是「several forms」，沒有說只有四種。一對多的論證在正文只有兩句定性的話。註腳的式子：N 個人互相理解時，每人寫一份解說是 O(1)，理解其他 N−1 人的想法是 O(N)，總成本像 O(a + bN)，a 與 b 是解說端與理解端的抵換係數，沒有估計值。另一個註腳說 Christopher 的部落格文章平均有超過十萬人讀，每人省一秒就替人類省下 30 小時（十萬秒約 27.8 小時，原文是約數）；這是作者自述，沒有出處。文章談的是研究社群內的理解，作者也說 Distill 生態系「is just a start」。

Clinton 與 Khan（2019），AERA Open 5(3)。事先登記。2018 年 8 月檢索五個資料庫，461 筆去重後的紀錄由第一作者一人篩選，另經郵件群組、寄信給作者等管道補充，最後 22 份報告、23 個獨立研究；學習成效分析 22 個研究、26 個效果量，用穩健變異估計。學習表現 g = 0.01（SE 0.08，95% CI −0.16 到 0.19，p = .87），I² = 98.17；以 d = 0.2 為界的等價檢定 Z = −2.25，p = .01。附錄程式同時跑了 ±0.1 的界限，內文沒有報告；我用程式裡的數值自己算，±0.1 不會顯著，所以「等同於零」只在 ±0.2 的界限下成立。漏斗圖與 Egger 檢定看不出出版偏誤。個別研究的 g 從 −0.87（Gurung 2017 研究一）到 1.104（Grewe 與 Davis 2017），22 個裡正的 11 個、零 1 個、負的 10 個（我從 Table 3 數的）。「同一位老師」12 個、「控制先備成就」6 個、「同一份測量」8 個。調節分析：控制先備成就 df = 3.54、同一份測量 df = 3.34，作者判為不可信；同一位老師 p = .91，作者說無法判斷是沒差還是檢定力不足。退選：OR = 0.71（95% CI 0.56–0.90，p = .005），11 個研究、78,593 人，I² = 83.09；個別 OR < 1 且顯著的 3 個，OR > 1 且顯著的 1 個（Hilton 2013，原作者說同時改了數學分班政策），其餘 7 個個別不顯著；11 個裡 6 個的數字是作者向原作者索取的。摘要寫總人數 N = 100,012，但 Table 3 兩組分欄加總是 109,192.5，與表末的合計對不上。限制：只收高等教育、地理範圍以美加為主、摘要篩選只有一人、閱讀媒介（紙本或螢幕）沒有控制、退選差異可能改變修完課的人的組成。

Hilton（2020），ETR&D 68。敘述性綜述，單一作者。納入條件：開放教育資源是大學課程的主要學習資源、和商業教科書有某種比較、至少 50 人、2015 年 9 月（方法一節寫 10 月）到 2018 年 12 月發表。檢索以作者 2016 年那篇綜述收錄的 16 篇研究為起點，在 Google Scholar 找引用它們的文章，另搜 ProQuest 學位論文、詢問做過相關研究的人；由作者一人審。成效研究 16 篇，學生 114,419 人，其中用開放教材的 27,710 人；表上同時控制老師與學生差異的 4 篇。觀感研究 20 篇，學生 10,807 人、教師 379 人。2002 到 2018 年合計成效研究 25 篇：3 篇沒報顯著性、10 篇沒有差異或結果混合、11 篇偏向開放教材、1 篇偏向商業教科書。結論寫「超過 95%」的研究顯示開放教材不會讓學習變差。同一研究在兩份整理裡的人數不同，例如 Winitzky-Stephens 與 Pickavance 2017，Hilton 是 7,588 對 26,538，Clinton 與 Khan 是 329 對 1,120。Gurung 2017 研究一：控制 ACT 成績後，用開放教材的低 1.2 分（13%）。Colvard 2018：全職生拿 D、F 或退選的比率從 6.3% 升到 7.4%，兼讀生從 34.3% 降到 24.2%。Lawrence 與 Lester 2018 的觀感：用商業教科書的 74% 滿意，用開放教材的 57%。Griffiths 2018 的學生調查 2,350 人：評開放教材品質「略高」29%、「高很多」30%，評教學品質的分布幾乎相同。觀感的直接比較研究，對象都是已經在用開放教材的人，沒有對照組。內部有幾處數字對不上：兼有成效與觀感的研究數寫 7 篇與 6 篇、成效研究總數寫 25 篇與 22 篇、觀感研究的學生總數寫 13,302 與 13,173。

Koedel、Li、Polikoff、Hardaway、Wrabel（2017），AERA Open 3(1)。加州 2008 與 2009 年採用的四套小學數學教科書：enVision Math California、California Math、California Mathematics: Concepts, Skills, and Problem Solving、California HSP Math。起始 5,494 所學校，扣除教科書資訊缺漏、採用年不符、一到三年級不用同一套、不是四套之一，以及分析開始後才剔除的洛杉磯與長灘兩個大學區，最後 1,878 所、309 個學區。三年級州數學測驗的學校平均分數，乘以 0.45 換算成學生層級標準差；拔靴法以學區為單位重抽 250 次。主要結果（California Math 對三套合起來，採用後第 1 到 4 年）：核配對 0.063、0.083、0.061、0.070，都不顯著；限定共同支持域的 OLS 0.050、0.064、0.049、0.058；以樣本外學校殘差化後配對 0.050、0.065、0.052、0.060，後兩種每年都在 p ≤ .05 顯著。反證檢定：採用前世代的「假效果」與數學教科書對英語科成績的「效果」全部不顯著；作者說這不能證明條件獨立假設成立，只能找違反的跡象。傾向分數模型只解釋約 12% 的採用差異；配對後 22 個共變數在 5% 水準下沒有不平衡。六組兩兩比較 24 個估計值只有 1 個顯著。四年級的估計全部是正的，但較小、多半不顯著；五年級較大。依社經弱勢身分分組，效果主要來自弱勢學生，作者說不要過度解讀。成本：作者引其他研究，小學數學教科書平均每生 34 美元，約占每生支出 0.32%；不知道這四套的定價。沒有事前註冊；沒有教科書實際使用情形的資料。

Ginns、Hollender、Reimann（ERIC ED491708，約 2006）。13 個效果量、288 人，出自 5 篇期刊論文、3 篇研討會論文、1 份技術報告、1 篇博士論文；全部隨機分派。極簡手冊 10 個、功能逐步開放的系統 3 個（對照是專業講師的訓練）。隨機效果，d = 1.12（95% CI 0.83–1.41），同質性檢定 Q = 14.56，df = 12，p = 0.266。表上的各研究：Gong 與 Elkerton 1990 2.34、Lohmann 1994 實驗一 2.26、Carroll 等 1987 實驗一 1.63、Gong 1990 1.54、Van der Meij 與 Lazonder 1993 1.26、Wendel 與 Frese 1987 1.14、Lazonder 與 van der Meij 1993 1.01、Lohmann 1994 實驗二 0.95、Carroll 等 1987 實驗二 0.80、Oatley 等 1990 0.77、Carroll 等 1985 0.68、Ramsay 與 Oatley 1992 0.64、Lohmann 1994 實驗三 0.61。錯誤辨認與修正：3 個研究、118 人，d = 0.59（0.22–0.96）。刪掉多餘說明：3 個研究、120 人，d = 0.89（0.36–1.42），其中 Black 等 1987 量的是完成測驗練習的時間。另外兩條原則（以任務為錨、行動導向）找不到多個實驗。討論轉述 Merritt 1997 的軼事：開發成本 50 萬美元，第一年賣出 5,000 套、獲利 1,900 萬美元。文件裡效果量的定義句寫的是「integrated and non-integrated conditions」，和這份研究的條件名稱不符。

Diátaxis（diataxis.fr），首頁、Foundations、How to use 三頁，網站現行頁面，沒有發表日期。Foundations 的對照：learning 對 tutorials（習得、行動），goals 對 how-to guides（應用、行動），information 對 reference（應用、認知），understanding 對 explanation（習得、認知）。首頁的三則證言來自 Vonage、Gatsby 與 Cloudflare 開發者文件的人員，都是主觀評價，沒有前後測量。How to use 頁說它的工作方式「runs counter to much of the accepted wisdom in documentation」，不鼓勵事先規劃，偏好小而即時的迭代；所指的主流做法沒有引出處。

Mirhosseini 與 Parnin（2020），ESEC/FSE 2020，讀的是作者稿。780 篇爬取的教學，去掉重複、已停止支援的發行版與以圖形介面操作為主的文章後，663 篇（Vultr 339、DigitalOcean 224、Linuxize 100），14,876 個程式碼區塊。原封不動執行：成功 1,935 個（13%）、失敗 3,172 個（21%）、因前面逾時而沒執行到 9,769 個（66%），75% 的教學在某一步逾時。替 apt 指令加上 -y 之後：成功 3,916 個（26%）、失敗 5,646 個（38%）、沒執行到 5,314 個（36%），逾時的教學 39%。失敗裡最多的是「找不到指令」2,393 個。分層抽樣 40 篇、787 個區塊的分類：指令 573、檔案內容 111、指令輸出 93、展示用 10。人工標註後執行：略過 131 個，656 個裡成功 343 個（52.3%）；其中 47 個區塊因為會弄壞測試環境而沒有執行、直接記為失敗，排除它們是約 56%（我算的）。40 篇都沒有逾時，也沒有一篇整篇跑完。原文沒有報這 40 篇在原封不動執行下的成功率，所以摘要說的「加倍」是拿 40 篇的結果比 663 篇的結果。6 位給意見的人裡至少一位已經在用這套工具改自己的教學。資料蒐集時間與各篇教學的發表年份，原文都沒有統計。

參考資料

每一條都從頭讀到尾並留有抽取紀錄；讀不到的部分寫在括號裡。

• Olah & Carter (2017), Research Debt（Distill 頁面；頁面上的三張插畫與修訂歷史沒有看）。
• Clinton & Khan (2019), Efficacy of Open Textbook Adoption on Learning Performance and Course Withdrawal Rates: A Meta-Analysis（刊出版；附錄的品質編碼表沒有對版面，退選率的小提琴圖沒有看）。
• Hilton (2020), Open educational resources, student efficacy, and user perceptions: a synthesis of research published between 2015 and 2018（出版者開放取用的刊出版；兩張表讀的是轉成文字的版本，沒有對版面；長條圖的數值沒有讀到）。
• Koedel, Li, Polikoff, Hardaway & Wrabel (2017), Mathematics Curriculum Effects on Student Achievement in California（刊出版；四、五年級的結果只在圖上，正文沒有表）。
• Ginns, Hollender & Reimann, Meta-Analysis of the Minimalist Training Model（ERIC ED491708）（ERIC 寄存的文件，沒有期刊審查的跡象，文件未印年份）。
• Diátaxis 首頁、Foundations、Diátaxis as a guide to work（2026-10-13 取得；網站其他頁與頁面上的圖沒有看）。
• Mirhosseini & Parnin (2020), Docable: Evaluating the Executability of Software Tutorials（讀的是作者網站上的作者稿，沒有和刊出版逐字比對）。
• 本站文章：教學文章的例子與開頭怎麼寫、教學文章裡的程式碼要寫到什麼程度、教學文章裡的術語、符號與公式怎麼處理、教學文章裡的問題與用語怎麼寫、讀者程度不同，教學文章怎麼寫、讀者知不知道自己懂了、寫給別人看，自己學到多少、教學文章的非母語讀者與手機讀者、Harvard CS50 AI 課程總覽、CS50 AI 第 6 週、CS50 AI 跨週整理（一）、Stanford CS229 第 1 堂。