讀者說寫得好,不代表讀者學到了:自評、喜好、觀看時間、練習分數與代理指標各量到什麼
Harvard 物理課的交叉實驗裡,學生測驗高 0.46 個標準差的那一堂,自評反而低 0.56;一個有生成式 AI 可用的實驗裡,自評高過實際進步能解釋的幅度。觀看時間、平台活動量、預測通過的模型,量到的多半是做了多少,不是另外量的學習。本站的流量統計是匯總的,沒有任何訊號量得到讀者學到沒有。
第 22 頁,共 129 頁
Harvard 物理課的交叉實驗裡,學生測驗高 0.46 個標準差的那一堂,自評反而低 0.56;一個有生成式 AI 可用的實驗裡,自評高過實際進步能解釋的幅度。觀看時間、平台活動量、預測通過的模型,量到的多半是做了多少,不是另外量的學習。本站的流量統計是匯總的,沒有任何訊號量得到讀者學到沒有。
一門 AI 課的隨機實驗裡,依轉換難度排的順序比照發展史排的答對率高約 5 個百分點;用演算法排相依內容,8 個研究沒有一個顯著勝過人排的固定順序。四種題型混在八張作業裡練,複習後約一個月的測驗 61% 對 38%,這是交錯加間隔的合併效果。螺旋式課程幾乎沒有成效研究。拿到證書的 MOOC 學生平均也略過 22% 的內容。
把練習分散到不同天,在真實課堂研究的統合分析裡效果約 d = 0.54,作者認為比混入實驗室研究的統合分析小;數學嵌在課程裡的間隔(同時含交錯)是 g = 0.24,八門大學 STEM 課照同一套做法做,平均只多 1.5 個百分點、沒有測到差異。隔一週重讀,一週後沒有測到優勢;那份課堂統合分析收的研究,沒有一篇讓學習者自己決定要不要回來複習。
做得最完整的 Quantum Country 在一篇約四小時的文章裡嵌了 112 題,之後寄信排複習;作者自評「不複習會記得少很多」只有初步證據,推廣到其他領域沒有證據。把複習題推給 MOOC 學習者,約八成的人一次都沒碰,成績沒有測到差異;有效的例子是把複習排進上課時間的課堂實驗。
直接告訴讀者這有什麼用,讀者會覺得內容較有用,但七個實驗合起來,當場成績沒有測到差異;要學生自己寫用途的課堂研究,結果隨學生與課程翻轉。和主線無關的趣聞平均讓立即測驗變差,大小不確定;只有一組實驗在「自願學」時沒測到傷害。
HarvardX 與 MITx 的課,各課平均約一半的註冊者從沒進過課程;進過課程的人裡,2017–18 年只有 3.13% 及格。寫讀書計畫的提示在三門課把完成率從 13.8% 提高到 17.7%,放大到 247 門課後完成率沒有測到差異。這些都是 MOOC 的數字,本站的流量統計是匯總的,沒有個別讀者的行為資料。
TEE 是硬體隔出來的執行環境,目標是連機器的營運者也看不到裡面在處理什麼;遠端證明則讓外人驗證「房間裡跑的是哪份程式」。WhatsApp 的 Private Processing 用它跑 AI 摘要,Meta 的獎金頁把 TEE 內程式碼執行(含繞過程式碼證明)、權限提升、VM 逃脫各列到最高 30 萬美元,資料洩漏 15 萬、持久化 1 萬,僅限受邀,且只有內部情境的漏洞另有較低的上限。Trail of Bits 的審查找到 28 個問題,其中 8 個高嚴重度,說明 TEE 的難處在實作細節,不在概念本身。
AI 產品的獎金頁多半不收「模型說了什麼」(越獄、幻覺、有害輸出),收「模型被叫去對別人做了什麼」(間接 prompt injection 造成的動作與資料外洩)和產品周邊的傳統漏洞。Google AI VRP 的基準獎金是 100 到 20,000 美元,OpenAI Safety Bug Bounty 每筆 250 到 7,500 美元。以上為 2026-10-14 查閱的版本。
Google 依報告品質把獎金乘上 0.8、1 或 1.2 倍,看七個維度,而且只採計分流前已有的資訊,事後補充通常不影響。照一頁模板(標題、摘要、前提、重現步驟、影響、修補建議)寫,再用「機率 × 金額 ÷ 時數」粗估每小時期望;上限再高,機率小到一定程度,期望也可能比小額獎金低。送出後只有 Resolved 保證有獎金,被判重複或無效很常見。文中的機率與時數全是假設,不是統計。
先完成可重現的練習報告,再依能力缺口決定課程或證照;證照不替你取得測試授權。
聊天模型的獎勵看單則回覆像不像人喜歡的答案;Agent 的獎勵要看多步操作後任務有沒有真的完成,兩者需要的資料與環境不同。
推理是輸入與輸出之間的中間 token;RL 微調勝過模仿人類解答的關鍵是可靠的驗證器,多次取樣再選最常見的答案能再往上推。
AlphaGeometry2 靠符號引擎、AlphaProof 靠 Lean 驗證,2024 年合計 28 分;2025 年 Gemini Deep Think 用自然語言拿 35 分,驗證改由人類閱卷。
Laskin 的判斷是工程師八成時間在理解系統而不是寫程式;而 RL 能走多遠取決於有沒有乾淨的獎勵,這個問題他認為和超級智慧一樣難。
VLA 在視覺語言模型上加一個動作模組;讓動作模組的梯度回傳會損害語言理解,knowledge insulation 的作法是擋住梯度;π0.5 則用網路資料與多種機器人資料一起訓練來換取泛化。
Alexandr Wang 說 Meta 把個人 Agent 需要的 100 多項行為各建一個 eval,每項設「阻擋上線」與「算好」兩條門檻,等到第一個全綠的檢查點出現,並確認實際用起來明顯更好才上線;另外也做了新手使用者測試。這套做法可以照抄,但上線後的安全爭議也說明:全綠不等於安全。
這堂課給第 1 堂的流程圖填上第一組具體內容:假說集合 H 是所有的線(感知器),演算法 A 是 PLA,看到分錯的點就把 w 加上 yₙxₙ。資料線性可分時,從 w₀ = 0 出發最多修正 R²/ρ² 次就會停;資料分不開時改用 pocket,把看過錯最少的那條線留在口袋裡。
這堂課把第 1 堂的學習流程圖沿四個方向各換一次:輸出空間 Y(二元分類、多類別分類、迴歸、結構化學習)、標籤 yₙ(監督式、非監督式、半監督式、強化學習)、資料交給演算法的方式(batch、online、active)、輸入空間 X(具體、原始、抽象特徵)。四個方向各有一個核心選項,合起來是基石之後的主場:批次、監督式、具體特徵的二元分類與迴歸。