這是「教學文章怎麼寫」系列的第 21 篇,第五部分「跟誰學,誰讀不到」的第二篇。前面一篇談一起學比較好的證據與條件,以及一個人讀文章少掉哪一塊。這篇往後退一步,看最常被拿來補那一塊的東西:留言區、討論論壇、讀書會、Discord 這類社群。要回答的問題只有一個:參與社群的人學得比較好,是社群讓他們學得好,還是本來就會學好的人才去參與?
起因是本站自己的形狀。本站的文章頁沒有留言區,也沒有讀者之間看得到彼此的地方。每篇文章旁邊有一個「Ask AI」側欄,依預設設定,先檢索本站文章,以檢索到的段落回答;找不到可靠的來源時,提示詞要求它回答知識庫沒有足夠的證據,不改用模型自己的一般知識;草稿兩輪都沒通過格式或品質檢查時,照樣顯示,前面加上「此回答可能不完整」的警語。提問的是讀者、回答的是模型;文中的專有名詞可以點開名詞解釋,分入門與進階兩層。課程導讀的寫作規格(course-guide-contract.md)沒有任何關於讀者互動的要求。寫這個系列時一直會碰到一個說法:線上課程裡,在論壇發文的人成績好很多。如果這是因果,本站少了一個重要的東西;如果不是,加留言區就只是多一個要維護的地方。
這篇用到的很多資料來自 MOOC(Coursera、edX 這類大型開放線上課程)。第 19 篇談過 MOOC 數字搬到部落格讀者身上的界線,這篇沿用同一組界線,下面只補論壇特有的部分。讀者會不會作答文章裡的題目,見第 10 篇;「互動比自己做好」這個排序本身有多少證據,第 8 篇談 ICAP 時整理過。
來源怎麼選、有什麼偏向。來源清單是先掃描文獻、再挑出來精讀的。挑選標準是要量到「參與」和某種結果(成績、完成、發文、職涯),而且每一類至少有一份作者自己說結果是相關、沒有測到差異或不能當因果的研究。參考資料共 13 份,每一份都讀完手上取得的那一版並留有抽取紀錄。偏向很明顯:觀察研究多、隨機實驗少;除了一份研究所課程、一門大學部軟體工程課、一個在翻轉教室裡一起看 MOOC 影片的讀書會、一份公開問答平台的分析、一份廠商資料與一篇個人部落格文,其餘都是 MOOC 的資料;全部是英文文獻。沒有任何一份研究量的是部落格留言區或教學文章讀者之間的互動。
MOOC 論壇的數字能借多少
第 19 篇列了六條界線:起點(註冊對點進來)、終點(及格對讀到最後)、回來的定義、外在結構(截止日、證書)、尺度(一門課對一篇文章)、介入研究的樣本是少數投入的人。論壇另外多兩條:
- 論壇掛在計分的課程上。MOOC 論壇裡的問題多半是作業題、考試題;文章沒有作業,讀者來留言的理由不同。
- 論壇的讀者不是全部的人。下面幾份研究裡,發文的人佔有成績者或註冊者的 5% 以下;看討論串的人比發文的人多,但多數研究沒有看討論串的資料。
能借的是方向:參與者和非參與者的差距大,但這個差距大部分可能是誰去參與造成的;隨機改變論壇設計,動的是發文,不是成績。
先看結論
| 問題 | 目前讀到的答案 | 證據的性質 |
|---|---|---|
| 在論壇發文的人表現比較好嗎 | 差很多。一門 edX 課,沒進過論壇的人 78% 期末零分,進過的 26%(Coetzee 等 2014);一門統計 MOOC,發過文的人及格 57%,沒發文的 8%(Wise 與 Cui 2018) | 觀察;兩篇作者都說不能當因果 |
| 已經及格的人裡呢 | 發不發文,成績沒有測到差異;發課程內容串的人高約 2 個百分點(Wise 與 Cui) | 觀察 |
| 發文內容和成績 | 發文裡的社會臨場感與成績相關 ρ = 0.39,只算發過文的 748 人;與課後職涯進展沒有找到關聯,能檢驗的進展者只有 15 人(Mehta 等 2025) | 相關 |
| 做同儕互評的人和做討論的人 | 互評多的組專題成績較高;參與型態只解釋 3.3% 的成績差異(Ou 與 Joyner 2025) | 研究所線上課的事後分組 |
| 隨機改變論壇設計 | 加上投票與聲望分數,每題回覆變多、變快;期末成績與社群感沒有測到差異(Coetzee 等) | 一門課的隨機實驗 |
| 其他隨機實驗 | 一份回顧收的 MOOC 論壇實驗裡,量了成績或完成率的只有兩篇(聲望制度、講師回覆),兩篇都沒有測到差異;另外兩篇只量發文,一篇正向、一篇負向(我從 Davis 等 2018 的回顧的表整理) | 回顧的計票編碼,原研究我沒讀 |
| 寫下誰會盯著你 | 247 門課的實驗裡,完成率沒有測到差異;前兩週的活動量較高(Kizilcec 等 2020) | 大規模隨機實驗 |
| 回顧怎麼說 | 20 篇研究裡 6 篇是實驗;作者說社會互動對學習的因果證據不足(Loh 等 2024) | 敘述性回顧,沒有效果量 |
| 論壇裡的資訊怎麼流 | 互動切成許多小群;模擬下,資訊擴散比隨機網路慢;只看發文的人(Gillani 等 2014) | 網路分析與模擬,沒有量學習 |
| 換成即時聊天加 24 小時助教 | 每人平均發文從 1 到 2 則變成 98 則(Bridson 等 2022) | 歷史對照,沒有量學習 |
| 一起看課的讀書會 | 滿意度高,三種看片方式之間沒有測到差異(Li 等 2014) | 探索性研究,沒有量學習,沒有獨自看的組 |
| 梯次制與課節討論 | 梯次制完成率 53.4%,自訂進度 41.9%;開了討論的課 50.9%,沒開的 37.3%(Ruzuku 2026) | 廠商自家資料,廠商自己寫不是因果 |
| ChatGPT 之後的公開問答 | Stack Overflow 的發文量相對對照平台,發布後六個月平均下降約 15%(del Rio-Chanona 等 2024) | 準實驗;量的是發文,不是學習 |
合起來:參與和好結果的相關很強。隨機實驗裡,有的動得了發文量(聲望制度),有的沒有、甚至讓參與下降(講師回覆、集體框架的鼓勵提示);量了成績或完成率的,都沒有測到差異。表裡沒有一列量的是文章讀者。
參與的人表現比較好:差距有多大
進過論壇、發過文的人
Derrick Coetzee、Armando Fox、Marti Hearst 與 Björn Hartmann 2014 年的研究在 UC Berkeley 一門 edX 軟體工程課做。研究的主體是一個隨機實驗(下面會談),但他們先比了進過論壇和沒進過論壇的人。沒進過論壇、但看過至少一段課程內容的人,78% 期末拿零分;進過論壇的人是 26%。作者在同一段寫:
Note that because forum users were self-selected, both these results are solely correlational.
Alyssa Friend Wise 與 Yi Cui 2018 年的研究用的是史丹佛 2014 年開的一門醫學統計 MOOC,論壇是自由參加的補充。有成績的 11,664 人裡,在論壇發過文的有 555 人,不到 5%(我算的)。發過文的人 57% 及格,沒發過文的人 8%。
這是這個主題裡最常被轉述的那種數字。下面三節說明它為什麼不能讀成「參與讓人學得好」。
換分母、換比較對象之後
拿掉從沒動過的人。Wise 與 Cui 的有成績者裡,71% 的成績在 0.01 以下,幾乎什麼都沒做。拿掉這些人之後剩 3,350 人,其中 15% 發過文;發文者及格 64%,沒發文的 32%。這篇的摘要寫「15% 的人在論壇貢獻」與「64% 對 32%」,兩個數字都只限這 3,350 人。兩組及格率的比值從約七倍縮到兩倍(我算的)。
只看及格的人。及格的 1,221 人裡,發過文和沒發過文的人,成績沒有測到差異。拆開來看,發過「課程內容」討論串的人成績高約 2 個百分點(0.869 對 0.845);只發非內容串(打招呼、技術問題、課務)的人沒有優勢。內容串的發文數只解釋成績變異的 3.2%。作者的結論是:
it is critical to note that this research does not document a strong relationship between MOOC discussion participation and course performance.
換成研究所的線上課。Chaohua Ou 與 David Joyner 2025 年的研究看一門收學分的線上研究所課(作者都在喬治亞理工學院),2020 到 2024 年共 1,451 人。參與分數佔總成績 15%,有兩種:同儕互評與線上討論。作者依兩種分數的中位數把學生事後分成四組,比較專題成績(滿分 300)。互評多的組(不論討論多寡)平均約 281 到 282 分,只做討論的組 272,兩者都少的組 261。作者自己說,參與型態只解釋 3.3% 的成績差異,效果小,其他沒分析到的因素可能更重要。
這篇的摘要寫「peer assessment is strongly linked to improved performance」,結論寫互評參與「enhances」學習表現。但設計是事後分組,沒有隨機分派;參與分數本身是依品質計分的(互評由 AI 評分器過濾,討論每則依品質給分),所以「參與組別」裡已經混了表現的好壞。
看發文的內容。Shruti Mehta、Ryan Baker 等人 2025 年的研究用一門 2013 年的教育資料探勘 MOOC。55,180 位註冊者裡只有 748 人發過文(約 1.4%,我算的)。他們用 GPT-4o 編碼每則發文的社會臨場感(打招呼、致謝、稱呼對方名字、延續討論串等),先由兩位人工編碼者建立標準答案,人機一致性 κ 在 0.70 到 0.89 之間。在這 748 人裡,社會臨場感總分與期末成績相關 ρ = 0.389;用到課程關鍵詞的程度與成績 ρ = 0.305。沒有控制任何變項,也沒有操弄。
同一篇另外看課後的職涯進展(定義很窄:課後在這個領域的兩個研討會發表論文,或兩年內加入領域學會)。發文的社會臨場感與關鍵詞都沒有找到和職涯進展的關聯。作者指出能檢驗的人很少:「only 15 of those 168 career advancers had participated in the discussion forums.」所以這一半的準確說法是「在這門課的資料裡沒找到關聯,但能檢驗的只有 15 人」,不是「論壇和職涯無關」。
為什麼不能讀成「參與讓人學得好」
作者自己列的替代解釋
Coetzee 等人說論壇使用和成績、留存之間的強相關「is difficult to interpret due to a range of possible confounding factors」,並列了三個替代解釋:
- 比較認真的學生比較會碰到需要求助的難題,所以比較會去論壇。
- 很早就離開的人,根本還沒有機會用到論壇。
- 英語或技術能力不足的人,既用不了論壇,也念不好這門課。
Wise 與 Cui 的版本相近:可能是參與討論讓人學得更好,也可能是本來能力較強、較有自信的人才去參與,或者興趣與投入同時影響兩者。他們對及格率差距的解讀是:
these contrasting findings suggest that the role of (undifferentiated) forum contribution may relate more to engagement, effort and persistence than directly to learning of course content.
也就是說,「有沒有發文」比較像是「還在不在、有沒有在做」的指標。及格率差七倍,及格者之間的成績卻幾乎沒差,和這個解讀一致。
參與的人很少,而且集中在少數人
- 多數人從沒進過論壇。Coetzee 那門課,看過課程內容的人裡約三分之二從沒進過任何論壇。作者在結論說,要提升整體成效,得找能觸及這些人的介入。
- 發文的人更少。Wise 與 Cui 的有成績者裡不到 5%;Mehta 等人的註冊者裡約 1.4%。
- 發文集中在少數人。Coetzee 的兩個實驗論壇裡,前 10 名發文者貼了 54% 與 32% 的文。作者把「無法把這幾個人的影響從整體效果裡分開」列為限制。
所以「參與者」與「非參與者」的比較,比的是一小群自己選擇進來的人和其餘所有人。
讀而不發的人沒有被算進去
Wise 與 Cui 的資料集沒有閱讀、瀏覽、按讚的紀錄,作者明寫這一點。他們套用另一篇研究「讀者和寫者約二比一」的比例,推估「多達 45%」的人以某種方式參與了論壇;這是推估,不是量到的。Nabeel Gillani 等人 2014 年的研究有觀看資料:一門 Coursera 商業策略課的第一次開課,看過至少一個討論串的人超過 15,000,發過文的約 4,500。
這些只讀不發的人在上面所有比較裡都被算成「沒參與」。讀別人的討論對他們有沒有幫助,手上沒有任何研究量過。這和本站最相關:我預期一篇有留言區的文章,多數讀者也只會讀留言,不會留言。
回顧怎麼說
Hong Sen Loh 等人 2024 年的系統性文獻回顧收了 20 篇 MOOC 裡學習者之間互動與學習成果的研究,不限研究設計。摘要寫各研究有「clear positive effects」,同一句接著說需要更多實驗。限制一節寫得更直接:
while there is strong evidence that social interaction is related to a multitude of favourable learning outcomes, it is arguable that there is insufficient evidence to conclude that there is a causal effect of social interaction on learning outcomes.
20 篇裡只有 6 篇是實驗,其餘是個案、混合方法與相關研究;這份回顧沒有算效果量,也沒有評分研究品質。同一份回顧對「討論區與成績」的說法前後不一,放在下面「來源說法不同的地方」。
有隨機分派的研究測到什麼
聲望制度:回覆變多變快,成績沒變
Coetzee 等人的實驗在同一門 edX 課裡做。同意參加的 1,101 人第一次進論壇時,依使用者名稱隨機分到兩個獨立的論壇之一。兩個論壇都是 Stack Overflow 式的問答論壇;完整版多了上下票、依得票累積的聲望分數與解鎖權限、發問者選最佳答案。
- 論壇本身的指標變好。完整版每題的平均回覆 3.5 則,基本版 2.4 則;首次回覆的中位數時間 59 分鐘對 2 小時 20 分;基本版有 15% 的題目沒人回,完整版只有 1 題。
- 但發文的人反而少。完整版的總貼文較多,但發文的人比較少。
- 成績沒有測到差異。期末成績中位數 73 對 71,只有簽了較寬同意書、能把論壇連到成績的 89 對 97 人。
- 社群感沒有測到差異。課堂社群量表 48.5 對 49.8(滿分 80),課後問卷各只有四十多人回答。
- 留存:課程留存因為這個子樣本八成五以上都留到最後,無法判斷;改量最後一次進論壇的時間,沒有測到差異。
作者對整體的定性是益處「具體但有限」。完整版學生裡 89% 說提高聲望分數「不重要」或「有點重要」,主要的回答理由是幫助別人。
這個實驗比的是「論壇加不加聲望制度」,兩組都有論壇。它不能回答「有沒有論壇」的因果效果。
其他論壇與小組實驗
Dan Davis 等人 2018 年在 Computers & Education 的回顧(不是第 10 篇引的那個 MOOC 實驗;兩篇的作者部分相同)只收隨機對照實驗:2009 到 2017 年間 5 本期刊與 8 個會議的 7,706 篇論文裡,126 篇符合。它用計票法,把每個結果記成顯著正向、無顯著、顯著負向,沒有算效果量。
我從它的表整理出跟論壇與同儕有關、在 MOOC 裡做的實驗(以下是這份回顧的編碼與轉述,原研究我都沒有讀):
- 論壇類:Coetzee 2014(發文量正向,成績與持續度無顯著);Tomkin 與 Charlevoix 2014,講師在一個論壇積極回覆、在另一個不回,回顧轉述「The authors report no differences in either completion rate or course engagement between the two conditions.」;Kizilcec 等 2014,一種集體框架的鼓勵發文提示反而讓論壇參與下降;Lamb 等 2015,論壇參與正向,正文沒有描述。
- 小組與同儕類:Kulkarni 等 2015 的小組視訊討論裡,組內國籍較多元的人期末考較好(比的是多元程度,不是有沒有小組);Cambre 等 2014 考試分數正向,正文沒有描述;Zheng 等 2014 依偏好、時區、語言等演算法分組,相對於隨機分組,投入、持續度、成績都沒有效果;Labarthe 等 2016 的同儕推薦系統,持續度、完成率、投入都正向。
論壇類的四篇 MOOC 實驗裡,量了成績或完成率的只有兩篇(Coetzee、Tomkin 與 Charlevoix),兩篇都沒有測到差異;另外兩篇只量發文,一篇正向(Lamb)、一篇負向(Kizilcec 2014)。這是我從表整理的,回顧作者沒有這樣歸納。表裡另有一篇在一般課堂做的論壇實驗(Beheshitha 等 2016),論壇參與沒有測到差異,不在上面的計算裡。小組與同儕配對類有幾項正向結果,但各自比的東西不同。
這份回顧另外把 Cooperative Learning 列為最有希望的三類策略之一(71% 的結果正向)。這個比例主要來自實驗室與自建系統;同一份回顧裡,MOOC 環境的研究整體只有 42% 正向,500 人以上的研究也是 42%。
寫下誰會盯著你
第 19 篇整理過 Kizilcec 等人 2020 年的 PNAS 研究:把幾種幾分鐘的寫作活動放進 Harvard、MIT、Stanford 247 門課的開課問卷。其中一種和社群有關,叫社會問責:寫下誰可以盯著你、要跟他們說什麼、什麼時候說。
在事先登錄的目標子群(非個人主義國家的學生)裡,完成率 +0.89 個百分點,95% 信賴區間 −0.22 到 1.99,沒有測到差異。它提高了第一週的平台活動量,第二週仍有差異。這和聲望制度那個實驗的方向一致:動得了參與,完成率沒有測到差異。
這個介入只是寫一段話,沒有真的建立任何社群;樣本是走到問卷後段的人,約佔註冊者的 8.8%(我從原文的人數算的)。
論壇裡實際發生什麼
Gillani 等人把同一門商業策略課兩次開課的八個子論壇各畫成網路:兩個人在同一個討論串發過文,就連一條線。再用統計方法濾掉可能只是巧合的連線。
- 「讀書會」子論壇多半只是報到處。這個子論壇裡,兩次開課都有超過三分之二的連線被判定不顯著。作者用非正式的內容檢視發現,多數人在開課初發文自我介紹,然後把討論搬到 Facebook 等其他平台。
- 資訊被困在小群裡。在推導出的網路上跑傳播模擬,所有子論壇的擴散都比保留同樣連線數的隨機網路慢。作者的總結是「most information exchange, and by extension, any knowledge construction in the discussion forums occurs in small, short-lived groups.」
- 個案討論(Cases)與期末專題(Final Project)兩個子論壇比較不脆弱。這兩個子論壇要拿掉較多的關鍵人物,網路才會散掉。第二次開課把 8% 的期末分數依論壇貼文獲得的讚數計算,作者推測這可能讓網路較穩,只用了「may」。
這篇沒有量任何學習成果;「擴散較慢」是模擬,不是觀察到的資訊傳播;模組度與擴散的關係作者只做目視比對,因為子論壇數量少,刻意不報相關係數。
Loh 等人的回顧轉述另一個結果:Kellogg 等 2014 年用五階段模型編碼 MOOC 討論,互動多停在第一階段(分享觀察、意見或例子),很少超過第三階段。原研究我沒有讀。
Wise 與 Cui 的內容分類補了同一個方向:在及格的發文者裡,非內容串的發文數和成績沒有測到相關(6 個非內容指標只有 1 個顯著);內容串的指標 6 個有 5 個顯著,但最強的也只有 r = .19。
論壇以外的形式
即時聊天加 24 小時有人回
Kathryn Bridson、Jeffrey Atkinson 與 Scott Fleming 2022 年的經驗報告來自 University of Memphis 一門大學部軟體工程課。2021 年春季、疫情遠距期間,他們把 Piazza 論壇與實體辦公時間換成 Discord,並多請兩位助教輪班,讓一天大部分時間都有人回。前兩位作者是這門課的助教。
和同一門課前三個學期(實體上課、用 Piazza)相比,每位學生的平均發文數從 1 到 2 則變成 98 則(中位數 37),至少發過一則的學生從約四成變成九成。發文集中在晚上(19 點到凌晨 5 點佔 65%)與週二到週四(逾七成),作者推測後者和截止日多在這幾天有關;學期前半的發文明顯多於後半。
這份報告沒有任何成績或學習結果。對照的學期同時換了平台、助教人力、上課型態(實體對遠距),計數單位也不同(論壇的正式問答貼文對聊天訊息)。作者自己說分不開 Discord 本身與 24 小時有人回的影響,也寫明這是「after all, this was an experience report regarding a single course」。人力成本也是作者列的限制:需要的助教時數遠超過一位助教每週 20 小時。
一起看課的讀書會
Nan Li、Pierre Dillenbourg 等人 2014 年的研究讓瑞士洛桑聯邦理工學院 54 位工程系學生,以 4 到 5 人一組、每週一次一起看 MOOC 影片並做測驗,共五週,每人有 150 瑞士法郎酬勞。比較三種看法:一個大螢幕一個控制器、一個大螢幕每人一支滑鼠、每人一台平板戴耳機各自看。
- 自評的討論品質都高(5 點量表約 4.0 到 4.2),三種看法之間沒有測到差異。
- 各自看平板的組裡,同步程度較高的人,自評討論品質與發言均等較高。這只在 3 組裡算。
- 受試者在訪談裡說一起讀比自己讀更有動力、更有效。這是自述;作者明寫沒有量學習成果,也沒有獨自觀看的對照組,「we cannot conclude the relative value of group versus individual learning with MOOCs」。
梯次制與課節討論
線上課程平台 Ruzuku 的執行長 Abe Crystal 2026 年在公司網站發表一份自家資料的分析,涵蓋 2012 到 2026 年 27,156 門課、131 萬筆選課,課程多是教練、治療師繼續教育、瑜伽等小型付費課。
- 依行事曆開放內容的「梯次制」課,完成率 53.4%;內容一次全開、自訂進度的課 41.9%。頁面明寫這是觀察到的課程分組差異,「not evidence that deadlines or live sessions caused higher completion」。所謂梯次制只是依行事曆開放,有沒有直播或同儕互動沒有分類。
- 開了至少一個課節討論區的課,每筆選課的完成率 50.9%;沒開的 37.3%。頁面緊接著寫「Enabled does not mean students actively participated.」
這份分析沒有變異量、沒有檢定,課程數與選課數的加總對不起來,題名的「2,000」在正文找不到出處,頁尾是平台的銷售呼籲。它只能當「業界有這樣的觀察,而且廠商自己說不是因果」的例子。
公開問答在 ChatGPT 之後
上面都是課程內的社群。開放網路上最大的技術問答社群是 Stack Overflow。Maria del Rio-Chanona、Nadzeya Laurentsyeva 與 Johannes Wachs 2024 年的研究拿 Stack Overflow 和四個當時較少受 ChatGPT 影響的平台比較(數學問答站兩個、俄語版 Stack Overflow、中文的 Segmentfault),用差異中的差異法估計 ChatGPT 發布後的變化。
- 發布後六個月,Stack Overflow 的發文量相對對照平台平均下降約 15%;到 2023 年 4 月底,每週的估計穩定在約 25%。摘要只寫了 25%。作者認為對照平台也可能受影響,所以這是下限。
- 只算提問的下降約 10%,只到 p < .1 的邊緣。
- 用投票衡量的貼文品質,沒有測到變化。
- 新使用者的發文只小幅下降,有些經驗的使用者下降較多,減少的主要是回答。
這篇量的是公開平台的發文量,不是任何人的學習。和本站有關的一點是:本站給讀者的是一個 AI 問答側欄,不是讀者之間的公開問答。讀者在側欄問到的東西,其他讀者看不到;留言區裡的問答,後來的讀者看得到。這兩種做法對讀者學習的差別,沒有研究測過。
本站的情況
本站沒有留言區。正式站至少載入了 Cloudflare Web Analytics,流量統計是匯總的,沒有個別讀者的行為資料;站上沒有任何資料能說明讀者想不想留言、會不會讀留言。
技術部落客 Raymond Camden 2024 年的短文是一個自述的例子,不是研究:部落格經營二十多年,留言本來很多,「eventually, folks simply stopped commenting」,於是拿掉留言功能;之後改用 Webmentions,覺得「works ok, but doesn't really feel the same」;2024 年起改用以 GitHub Discussions 當留言的 Giscus,只對新文章開放,留言需要 GitHub 帳號。文章沒有任何數字,也沒有談學習。
來源說法不同的地方
以下幾組結果方向不同,或看起來衝突、其實量的東西不一樣。我把它們並列,不選邊。
論壇參與和成績的關係強不強。Coetzee 等人與 Wise 與 Cui 看全部的人,差距很大(零分 78% 對 26%;及格 57% 對 8%)。Wise 與 Cui 只看及格者,發不發文的成績沒有測到差異,作者的結論是沒有記錄到強關係。差別在比較對象:前者混了「還在不在課裡」,後者只比都留下來的人。
同一份回顧的兩種說法。Loh 等人在結果一節寫討論區互動與期末成績的關係「unclear」,並舉 Zhang 等 2017 找不到顯著關係;在綜合一節又寫有「consistent findings」顯示討論區帶來較高成績,把 Zhang 2017 列為佐證。摘要寫「clear positive effects」,限制一節寫因果證據不足。
摘要的因果措辭和正文的設計。Ou 與 Joyner 的摘要寫互評「strongly linked」、結論寫「enhances」,正文是事後分組、只解釋 3.3% 的變異。Mehta 等人的摘要寫論壇投入「enhances academic achievement」,正文只有相關。Bridson 等人的摘要寫 Discord 做法「led to」互動大增,正文是不同學期、不同上課型態的歷史對照。
少數族群「沒有比較少發文」。Bridson 等人的摘要說,資訊科學裡人數較少的族群和其他學生互動的程度相當。正文的依據是 p ≥ 0.2 的無顯著結果:人數較少族群的平均發文約為其他學生的三分之二,女性約為男性的六成(兩個比值是我算的),標準差很大、人數很小。所以是沒有測到差異,不是「一樣多」。作者自己另外提醒,Discord 不能匿名,可能壓低女性的發文。
ChatGPT 之後下降多少。del Rio-Chanona 等人的六個月平均是 15%,摘要寫的 25% 是期末的每週估計。作者轉述另一篇用合成控制法的研究(Burtch 等 2024),得到 15 週內約 20% 的下降,但那篇發現的是新使用者大降,這篇發現的是有經驗的人降得多;作者說這個分歧有待後續研究解決。
協作學習是最有希望的策略,還是 MOOC 裡效果平平。Davis 等人的結論把 Cooperative Learning 列為三大最有希望的策略之一(71% 正向)。同一份回顧裡,MOOC 環境的研究整體 42% 正向,而這一類的 MOOC 研究只佔少數。
對照本站的做法
| 本站的做法 | 相關證據 | 是依據,還是本站的選擇 |
|---|---|---|
| 文章頁沒有留言區 | 參與者表現較好的證據都是觀察,作者自己說是自我選擇下的相關(Coetzee、Wise 與 Cui、Mehta、Ou 與 Joyner);隨機改變論壇設計動到發文量,成績與完成率沒有測到差異(Coetzee;Davis 整理的實驗) | 本站的選擇。證據推不出「該加」,也推不出「加了有害」;沒有研究測過部落格留言區 |
| 每篇有 Ask AI 側欄,以本站文章為主要來源,其他讀者看不到 | 公開問答平台的發文量在 ChatGPT 後下降(del Rio-Chanona),量的是發文不是學習 | 本站的選擇。AI 問答和讀者之間的公開問答,對學習的差別沒有研究比過 |
| 專有名詞可以點開解釋,分入門與進階 | 多數人從不進論壇(Coetzee 約三分之二)、發文的人不到 5%(Wise 與 Cui);放在文章裡的協助是每個讀者都碰得到的地方 | 本站的選擇。觸及率的論點沒有研究直接測過;該為哪些詞加定義,第 4 篇談過,也沒有研究直接回答 |
| 作者不在文章下回覆讀者 | 講師在論壇積極回覆對不回覆,完成率與投入沒有測到差異(Tomkin 與 Charlevoix,經 Davis 轉述) | 轉述的單一實驗;沒有在文章讀者身上測過 |
| 沒有梯次、讀書會、Discord | 梯次制完成率較高是廠商觀察,廠商自己說不是因果(Ruzuku);讀書會研究沒有量學習(Li);Discord 報告沒有量學習(Bridson) | 證據推不出應該加;後兩者還需要持續的人力 |
| 課程導讀規格沒有讀者互動的要求 | 同上 | 本站的選擇 |
可以做的事
以下是我的判斷,每一條寫出依據是哪幾項結果。
- 不要因為「參與社群的人成績好 N 倍」這類數字去加留言區或社群。依據:這類數字都來自觀察研究,原作者自己說是相關,並列出自我選擇的解釋(Coetzee、Wise 與 Cui);Wise 與 Cui 的及格者之間,發不發文的成績沒有測到差異;隨機分派的論壇實驗裡,量了成績或完成率的兩篇都沒有測到差異(Coetzee;Tomkin 與 Charlevoix,經 Davis 轉述)。這些是 MOOC 的結果。做法:要開留言區的理由,寫成「讀者有地方回報錯誤、問沒寫到的事」,不寫成「互動讓讀者學得更好」。
- 讀者最可能卡住的地方,答案寫在正文裡,不留給留言區或社群。依據:Coetzee 那門課約三分之二的人從沒進過論壇,作者自己建議找能觸及這些人的介入;發文者不到 5%(Wise 與 Cui);論壇裡的資訊多困在短暫的小群裡(Gillani)。做法:寫完一節,列出讀者最可能問的一個問題,在那一節補一句回答或一個先備連結。
- 如果有留言或任何讀者回報管道,把被問到的問題和答案搬回原文。依據:看討論串的人數是發文人數的三倍以上(Gillani);問答留在討論串裡,只有翻到那裡的人看得到。做法:回覆一則問題時,同時改原文對應的段落,留言裡只貼段落連結。
- 不要用留言數、發文量或社群活躍度評估一篇文章教得好不好。依據:發文量會隨平台設計大幅變動(Coetzee 的聲望制度、Bridson 的 Discord 與 24 小時助教),在這些研究裡都沒有伴隨可測的學習差異或沒有量學習;Ruzuku 自己寫開了討論不等於有人參與。
- 引用「參與社群和學得好」的研究時,寫明比較對象與分母。依據:Wise 與 Cui 的「64% 對 32%」只限成績高於 0.01、約佔有成績者 29% 的人(我算的);Mehta 等人的 ρ = 0.39 只在 1.4% 發過文的人裡(我算的比例);Ou 與 Joyner、Mehta 等人、Bridson 等人的摘要都用了正文撐不住的因果措辭。
今晚可以做的三件事
挑一篇自己寫過的教學文章,大約一小時:
- 想像三個讀到一半會卡住的讀者,各寫下他們會問的一句話。每一句在正文對應的地方補一句回答或一個連結。
- 如果你有留言區、論壇或社群,翻出最近被問過兩次以上的問題,把答案寫回原文,再回到討論串貼上段落連結。
- 搜尋自己的文章、簡報或課程頁面裡「參與社群的人」「論壇使用者」這類句子。有數字的,補上它是哪一門課、分母是誰、是不是相關;找不到出處的就拿掉。
這些證據的限制
- 沒有任何一份研究量的是部落格留言區或教學文章讀者之間的互動,本站的流量統計是匯總的,沒有個別讀者的行為資料。所有借用都是推論,MOOC 的界線見第 19 篇與開頭一節。
- 因果證據很少。13 份裡,有隨機分派且量了成績或完成率的只有 Coetzee(比的是聲望制度,不是有沒有論壇)與 Kizilcec 2020(寫一段話,不是建立社群)。Davis 列的其他實驗我只讀到回顧的編碼與轉述。
- 讀而不發的人幾乎沒有資料。Wise 與 Cui、Gillani、Mehta 都只看發文;讀別人的討論對學習有沒有影響,目前沒有研究直接測過。
- 樣本與情境集中。多是 2013 到 2014 年的 MOOC;Ou 與 Joyner 是研究所的學分課,Bridson 是一門遠距的大學部課,Li 是有酬勞的 54 位工程系學生,Ruzuku 是小型付費課。
- 「學得好」量法各不相同:及格、期末成績、專題成績、完成、職涯進展、自評討論品質。多份研究完全沒有量學習(Gillani、Bridson、Li、del Rio-Chanona)。
- 作者與資料的關係。Bridson 的前兩位作者就是提供協助的助教;Ruzuku 的分析由平台執行長撰寫;Kizilcec 2020 放大重做的其他介入,原始研究是同一批作者的;本篇用到的社會問責之前沒在線上課測過。
- 我的推論:MOOC 論壇的方向可以借到文章讀者;多數讀者只讀留言不留言;AI 問答和公開問答對其他讀者的差別;放在文章裡的協助觸及率較高;問答搬回正文能讓更多人看到;今晚可以做的三件事。正文都標了或在這裡列出。
- 我自己算或整理的:Wise 與 Cui 的「不到 5%」與 29%;Bridson 的「多約 67%」;Mehta 的 1.4%;Davis 回顧裡論壇實驗「量了成績或完成率的兩篇都沒有測到差異」的歸納;Wise 與 Cui 的及格率比值從約七倍縮到兩倍;Bridson 的三分之二與六成;Kizilcec 2020 的 8.8%。
- 轉引:Tomkin 與 Charlevoix 2014、Kizilcec 等 2014、Lamb 等 2015、Kulkarni 等 2015、Cambre 等 2014、Zheng 等 2014、Labarthe 等 2016 經 Davis 等人轉述;Kellogg 等 2014、Zhang 等 2017 經 Loh 等人轉述;Burtch 等 2024 經 del Rio-Chanona 等人轉述。原研究都沒有讀。
- 掃描時看到、這篇沒有用的:問答站除錯、台灣的 MOOC 讀書會質性研究、HarvardX 與 MITx 學習者背景的研究,都只在清單上當備選,沒有精讀,不引內容。
附錄:各研究的設計與數字
正文每項只留一兩個數字,其餘放在這裡。
Coetzee、Fox、Hearst、Hartmann(2014),CSCW '14,刊出版,作者以 CC BY 3.0 釋出。edX 的 CS169.1x,2013 年 3 月開課、七週;註冊 5,985 人,通過 532 人。同意參加論壇實驗 1,101 人(完整版 548、基本版 553,後面的檢定用 546 與 555)。相關分析:論壇使用者 1,572 人、非使用者 3,221 人;零分比例 78% 對 26%(Table 3 寫 88% 對 26%),成績中位數 22% 對 0%,Mann-Whitney p < .001;留存中位數 39 對 19 天(共 42 天);各次作業與小考除了最後兩份作業都有差異,只算有交的人。實驗:每題回覆 3.5 對 2.4(Table 3 寫 2.3),p < .001;首次回覆中位數 59 分鐘對 2 小時 20 分,一小時內有回覆 50% 對 30%;完整版的使用者較不會發文(p ≈ .036);前 10 名發文者佔 54% 對 32%。期末成績中位數 73 對 71(89 對 97 人,p > .4);課程留存資料不足;最後一次進論壇的中位數 24.5 對 26.1 天(p > .2);Rovai 社群量表 48.5 對 49.8(43 對 40 份,p > .7);求助語句 2.9% 對 7.3%(p ≈ .0002,作者說可能只是抱怨);論壇有用程度中位數都是 2.0(0 到 4)。作者列的限制:單一課程單一輪、學生熟悉論壇;少數極活躍使用者;同意參加 67%、同意連成績的 20%、回問卷的 8%;相關不是因果;實驗論壇在另一個網域,學生可能在原論壇或 Facebook 互通;只測了問答式論壇。
Wise 與 Cui(2018),LAK '18,ACM 刊出版。StatMed'14,史丹佛 Lagunita 平台,2014 年。有成績 11,664 人,論壇帳號 565 個,兩者都有 555 人;及格線 0.6。全部有成績者:發文者及格 57%,非發文者 8%,χ²(1) = 1,332.20。排除成績 ≤ 0.01 的 8,314 人(71%)後剩 3,350 人,發文者 492 人(15%):64% 對 32%。只發非內容串 178 人及格 57%、只發內容串 165 人 60%、兩種都發 149 人 77%;兩種都發的人發得也較多(中位數 4 串對 1 串),作者說分不開多樣與數量。及格者:發文 315 人對沒發文 906 人,t(1,219) = 1.610,p = .107;發內容串 0.869 對沒發 0.845,p = .002。內容串發文數 r = .188,最終模型 R²adj = .032;網路中心性指標沒有額外解釋力。內容分類模型準確度 > .81。作者列的限制:單一門課、論壇是選修補充、沒有閱讀資料、因果不明、成績是黑箱指標。
Mehta、Srivastava、Liu、Vanacore、Baker(2025),L@S '25,讀的是 NSF PAR 的作者接受稿。Coursera 的 Big Data in Education,2013 年第一輪,註冊 55,180 人,發文 748 人,貼文與留言 3,109 則。社會臨場感指標刪去原研究兩個。GPT-4o 編碼,各指標人機 κ 0.70 到 0.89。Spearman 相關(N = 748):社會臨場感總分 0.389;延續討論串 0.387、提問 0.339、讚美與致謝 0.328、自我揭露 0.286、表示同意 0.224、寒暄 0.125;課程關鍵詞 0.305;全部 p < .001。職涯進展者 168 人(153 + 35 = 188),其中 15 人發過文。控制貼文數的邏輯脊迴歸:社會臨場感 β = 0.0002(95% CI −0.0001 到 0.0006),p = .512;關鍵詞 p = .415。沒有限制節;討論裡說進展者太少、職涯受課外因素影響。
Ou 與 Joyner(2025),L@S '25,ACM 刊出版。一門線上研究所專題課,2020 春到 2024 秋,1,451 人,男 73.3%,平均 31 歲。互評分數 > 55.5、討論分數 > 12.0 算實質參與:兩者都有 370 人、互評多 358、討論多 350、兩者都少 373。專題成績(0 到 300):282.21(SD 17.27)、281.01(29.98)、272.44(52.42)、260.81(68.35)。F(3, 1447) = 16.63,p < .001,η² = .033。Games-Howell:互評多與兩者都有沒有差異(p = .909),互評多高於只做討論(p = .005),兩者都有也高於只做討論(p = .039),只做討論高於兩者都少(p = .050)。課後問卷 1,054 人:互評價值 4.93、討論價值 4.65(七點量表);預測同儕支持知覺的 β 0.42 對 0.26,兩個係數的差異沒有檢定。全文沒有限制節。
Loh、Martins van Jaarsveld、Mesutoglu、Baars(2024),Frontiers in Education,刊出版,CC BY。2023 年 5 月檢索 Scopus 與 ERIC,180 筆,納入 20 篇:個案 7、混合方法 4、實驗 6、相關 3。討論區 9 篇、小組 10 篇、一對一 2 篇。四類成果:知識、社會投入、學習投入、學習者經驗。沒有效果量、沒有品質評分;選文由一位研究者完成。轉述:一對一同儕討論提高測驗分數,但受邀者裡真正去談的很少(Zhang 2017);志工帶領小組不易擴大(Gamage 2021);Anderson 2020 前後測多數成分沒有測到差異,訪談卻說小組有幫助。內部不一致:「unclear」與「consistent」兩處說法;Manli 2014 不在納入清單卻被引為納入研究;Table 2 的勾選數與正文 n 不符。
Gillani、Yasseri、Eynon、Hjorth(2014),Scientific Reports 4,刊出版,CC BY-NC-SA 4.0。Coursera 商業策略課兩次開課:2013 春註冊近 90,000、發文約 4,500 人、看過討論串逾 15,000 人;2013 秋逾 77,000、約 3,300、11,500。八個子論壇分開分析(子論壇之間的人重疊多半低於 3%)。被濾掉的連線:技術回饋兩期都是 89%,讀書會 72% 與 71%,個案討論 44% 與 39%。讀書會子論壇的標準化模組度最高(4.21 與 5.92)。SI 傳染模擬(400 次平均)在所有子論壇都比保留度數的隨機網路慢。第二次開課 8% 期末分數依讚數計算。補充資訊沒有取得。
Li、Verma、Skevi、Zufferey、Blom、Dillenbourg(2014),Distance Education 35(2),讀的是 EPFL 典藏的作者定稿,刊出版沒有讀;另有一份題名不同的較早短版,數字不同,不引。2013 年春五週,54 人(女 11),12 組;數值分析課 9 組(法語,大一),數位訊號處理課 3 組(英語,碩士)。三種看法各 4 組,沒有寫怎麼分派。統計只用數值分析課的組。討論品質自評:全體 4.12,三種看法 4.17、4.14、4.03,沒有報告檢定統計量。共用螢幕加每人一支滑鼠的組花在影片的時間與暫停次數較多(p < .05、p < .005)。平板組裡同步程度與自評討論品質 β = 1.308、與發言均等 β = 1.438(p < .05)。
del Rio-Chanona、Laurentsyeva、Wachs(2024),PNAS Nexus 3(9),刊出版,CC BY 4.0。2022 年 1 月到 2023 年 5 月底,發布前 48 週、後 25 週;log(週發文數) 的差異中的差異,標準誤以月叢聚。全部發文 −0.163(p < .05,約 15%)、只算提問 −0.105(p < .1,約 10%)、只算平日 −0.151(約 14%)。依經驗:新使用者 −0.083、1 到 10 則 −0.245、11 到 100 則 −0.254、超過 100 則 −0.168。GitHub 儲存庫越多的語言下降越多(ρ = −0.45)。開發者調查裡 ChatGPT 使用者每週貢獻的機率低約 0.8 個百分點,作者說幅度不大。延伸到 2024 年 5 月,週發文從 6 萬降到 3 萬,但作者不延伸差異中的差異,因為對照平台後來也受影響。補充資料沒有讀。
Bridson、Atkinson、Fleming(2022),SIGCSE '22,ACM 刊出版。2021 年春,52 人(女 14、資訊科學人數較少族群 22)。前 7 週個人技能作業,後 7 週小組專題。對照:2018 秋(52 人)、2019 春(27 人)、2019 秋(35 人),實體上課加 Piazza。平均發文 98.2(SD 150.3)對 1.0、2.0、1.5,各比較 p < .0001;至少發一則 90% 對 38%、41%、37%。學生共 5,105 則,最高四人 489 到 674 則;教學者 2,890 則。人數較少族群 75.7 對 114.6、女 65.2 對男 110.3,p ≥ 0.2。19:00 到 5:00 佔 65%;週二到週四逾 70%。學期前半 3,195 則、後半 1,910 則(原文寫前半多 40%,用原文的數字算是多約 67%)。校方教學評鑑「有機會發問」4.89/5(36 人),沒有前幾學期可比。沒有語音頻道資料。
Davis、Chen、Hauff、Houben(2018),Computers & Education 125,讀的是 TU Delft 典藏的刊出版。2009 到 2017 年 7 月,5 本期刊與 8 個會議逐篇看,納入條件:可大規模實施、隨機對照、至少 10 人、成人;7,706 篇中 126 篇,132,428 人。計票法,沒有效果量與品質評估,有 OSF 登錄。MOOC 環境 42% 正向、56% 無顯著;自建系統 59% 正向。500 人以上 42% 正向,10 到 100 人 60%(p < .05)。給錢的實驗 61% 正向,沒有誘因的 49%。Cooperative Learning 17 篇、結果 17 正 6 無 1 負。論壇相關實驗的樣本:Kizilcec 2014a 11,429 人、Lamb 2015 4,777 人、Coetzee 2014 1,101 人、Tomkin 與 Charlevoix 2014 20,474 人;小組類 Kulkarni 2015b 2,422 人、Cambre 2014 2,474 人、Zheng 2014 1,730 人、Labarthe 2016 8,673 人。全文沒有限制節。
Kizilcec、Reich、Yeomans 等(2020),PNAS 117(26),刊出版與 SI Appendix。設計與其他介入見第 19 篇的附錄。社會問責只在第二年(2018 年 1 月到 2019 年 5 月)。完成率(非個人主義國家的學生)+0.89 個百分點(−0.22 到 1.99),t = 1.58,p = .115。平台活動量(事件數取對數):第一週 β = 0.0788(p = .006),第二週 0.0939(p < .001)。
Crystal(2026),Ruzuku,廠商網站文章,沒有同儕審查,頁面會更新。2012 到 2026 年 27,156 門課、1,316,272 筆選課。梯次制 337,700 筆選課 53.4%;定時釋出 213,519 筆 42.9%;一次全開 702,497 筆 41.9%(三者加總少於總選課數)。梯次人數:1 到 10 人 51.5%、11 到 25 人 65.2%、26 到 50 人 62.0%、51 到 100 人 56.8%、100 人以上「51.3% (48.3% for large)」。有課節討論 17,190 門 50.9%,沒有 9,442 門 37.3%。有測驗或反思評量 59.1%,純內容 42.4%。全部沒有變異量與檢定。
Camden(2024),個人部落格。沒有數字,沒有談學習。
參考資料
每一條都讀完手上取得的那一版並留有抽取紀錄;版本與讀不到的部分寫在括號裡。
- Coetzee, Fox, Hearst & Hartmann (2014), Should Your MOOC Forum Use a Reputation System?(ACM 刊出版,作者以 CC BY 3.0 釋出)。
- Wise & Cui (2018), Unpacking the Relationship between Discussion Forum Participation and Learning in MOOCs: Content is Key(刊出版,ACM Digital Library 開放取用)。
- Mehta, Srivastava, Liu, Vanacore & Baker (2025), Do MOOC Conversations Matter? Investigating the Role of Social Presence and Course-Relevant Discussion in Career Advancement(讀的是 NSF PAR 的作者接受稿,刊出版在 ACM Digital Library;OSF 數位附錄沒有讀)。
- Ou & Joyner (2025), Assess or Discuss: Comparing Peer Assessment and Online Discussion for Enhancing Learning at Scale(刊出版,ACM Digital Library 開放取用)。
- Loh, Martins van Jaarsveld, Mesutoglu & Baars (2024), Supporting social interactions to improve MOOC participants' learning outcomes: a literature review(刊出版,開放取用)。
- Gillani, Yasseri, Eynon & Hjorth (2014), Structural limitations of learning in a crowd: communication vulnerability and information diffusion in MOOCs(PMC 刊出版;補充資訊沒有讀)。
- Li, Verma, Skevi, Zufferey, Blom & Dillenbourg (2014), Watching MOOCs together: investigating co-located MOOC study groups(讀的是 EPFL 典藏的作者定稿;刊出版沒有讀)。
- del Rio-Chanona, Laurentsyeva & Wachs (2024), Large language models reduce public knowledge sharing on online Q&A platforms(PMC 刊出版,CC BY 4.0;補充資料沒有讀)。
- Bridson, Atkinson & Fleming (2022), Delivering Round-the-Clock Help to Software Engineering Students Using Discord: An Experience Report(刊出版,ACM Digital Library 開放取用)。
- Davis, Chen, Hauff & Houben (2018), Activating learning at scale: A review of innovations in online learning strategies(讀的是 TU Delft 典藏的刊出版;回顧收錄的原研究沒有讀)。
- Kizilcec, Reich, Yeomans et al. (2020), Scaling up behavioral science interventions in online education(PMC 刊出版與 SI Appendix)。
- Crystal (2026), What 2,000 Course Launches Tell Us About Cohort vs. Self-Paced Completion(Ruzuku)(廠商網站文章,2026-10-14 查閱;頁面附的 CSV 沒有下載)。
- Camden (2024), The Return of the Comment(s)(個人部落格)。
- 本站文章:一個人讀少了什麼、線上自學為什麼多數人讀不完、讀者會不會做文章裡的題目、「做中學」的證據在量什麼、教學文章裡的術語、符號與公式怎麼處理。