Skip to content
所有分類

ai

1264 篇文章

Cross-attention 與 DiT:條件如何進入去噪器|CMU 10-423 第 14 堂

以完整數值例子與變式答案理解Cross-attention 與 DiT:條件如何進入去噪器。

Q-Former 與 scaling laws:橋接凍結模型,分配固定算力|CMU 10-423 第 15 堂

追 Q-Former 的 query 讀取與兩階段訓練,再用固定預算計算模型與資料的分配

Mixture of Experts:總容量與啟用計算如何分開|CMU 10-423 第 16 堂

以完整數值例子與變式答案理解Mixture of Experts:總容量與啟用計算如何分開。

分散式訓練:梯度、模型與狀態各如何切分|CMU 10-423 第 17 堂

以完整數值例子與變式答案理解分散式訓練:梯度、模型與狀態各如何切分。

高效推論:FlashAttention、KV cache 與推測解碼|CMU 10-423 第 18 堂

以完整數值例子與變式答案理解高效推論:FlashAttention、KV cache 與推測解碼。

長上下文:放得進去為什麼仍找不到答案|CMU 10-423 第 19 堂

區分位置/記憶體/資訊取用並設計受控驗收

State Space Models:狀態更新如何展成卷積|CMU 10-423 第 21 堂

從recurrence展開固定卷積並識別selection邊界

生成式 AI 風險:把失敗變成可測試的情境|CMU 10-423 第 22 堂

把不同危害對應不同資料流與指標

聲音的理解與生成:sample 怎麼變成文字,token 怎麼變回聲音|CMU 10-423 第 24 堂

計算 frame、mel 與 WER,再算 codec token 帳並區分擴散採樣

影片生成:時間軸如何進入模型|CMU 10-423 第 25 堂

能追時空attention shape並區分影片時間與去噪時間

世界模型與對齊理論:動作介入與可修正性需要哪些前提|CMU 10-423 第 26 堂

區分三種世界表示與動作介入證據,再看共識成本與 corrigibility 定理的條件

LoRA:少改參數,改的是哪個矩陣|CMU 10-423 第 10 堂

以完整數值例子與變式答案理解LoRA:少改參數,改的是哪個矩陣。

練習考卷:用錯誤定位觀念缺口|CMU 10-423 主題單元

用公開練習卷區分機率、資料流與評估錯誤,走完序列機率例子,再以變式題驗收。

開放式演化:指定閱讀導讀|Stanford CS329A 第 7 堂

開放式演化改的是 agent 程式與流程;archive 保留不同分支,保留測試再檢查泛化。

軟體工程 agent:指定閱讀導讀|Stanford CS329A 第 13 堂

多個程式候選仍需需求反例來挑選;先通過正確性檢查,速度提升才有意義。

Agent 記憶:指定閱讀導讀|Stanford CS329A 第 14 堂

取回管理、訓練 KV 表示與 cache 重用處理不同瓶頸;速度與命中率都不保證資料新鮮。

aideep-dive

Spotify Technology:把內部開發工具包成一個品牌賣給別的公司

Spotify 在 2026-10-07 把 Confidence、Portal、Xirp 與 Backstage 外掛併成「Spotify Technology」對外賣;核心賭注是 AI 讓寫程式變便宜後,瓶頸會移到判斷,而組織的共用脈絡是資產。營收未揭露;Confidence 有公開定價與免費方案,Xirp 仍是只支援 macOS 的 beta。

推論時多試幾次,怎麼選出正確答案|Stanford CS329A 第 2 堂

多產生候選只能提高正解出現的機會;可信的選擇器才把機會變成實際成功。

驗證答案之前,先驗證推理步驟|Stanford CS329A 第 3 堂

最後答案正確不代表推導成立;步驟回饋能定位錯誤,驗證器本身仍需檢查。

工具回饋如何改變下一步,而不只是增加紀錄|Stanford CS329A 第 4 堂

外部觀察、執行測試與原則批評提供不同回饋;先辨認訊號,再決定修正或訓練。