Transformer 與 Attention:模型怎麼決定該看哪些字
Transformer 的核心是 self-attention:對每個 token,模型算出它跟其他所有 token 的相關程度,然後按權重加總。這讓模型能跨越距離抓到「it 指的是 cat 不是 mat」這種關係,也是它處理長文的基礎。
第 69 頁,共 129 頁
Transformer 的核心是 self-attention:對每個 token,模型算出它跟其他所有 token 的相關程度,然後按權重加總。這讓模型能跨越距離抓到「it 指的是 cat 不是 mat」這種關係,也是它處理長文的基礎。
計算生物學博士、前威斯康辛大學統計系教授 Sebastian Raschka,2022 年在 Substack 創辦 Ahead of AI,用月更長文拆解 LLM 論文與架構,四年做到 20 萬+訂閱。他刻意不接贊助、不追日更,靠書籍和付費訂閱變現,證明低頻高深度在 AI 電子報紅海裡也能走出一條路。
前 Twitter / Apple / Zynga 工程師 Alex Xu 2020 年自費出版《System Design Interview》,一本書打進 Amazon 暢銷榜;2022 年與前 Discord 工程師 Sahn Lam 聯手推出 Substack 電子報,首月即破 2.6 萬訂閱,兩年半達百萬。從書到電子報、YouTube、付費平台,ByteByteGo 2024 年營收 $3.5M,團隊從兩人擴張到 26 人——全程零外部融資。
IIT 畢業的前 Mastercard AI 工程師 Avi Chawla,因家庭因素取消赴美碩士後,在 Substack 用「每天 150 字圖文」切入 Data Science 電子報,5 個月破萬訂閱、收入超過全職,四年做到 20 萬+訂閱與付費課程平台。
德國出生、墨爾本定居的設計師 Kai Brach,從獨立印刷雜誌 Offscreen 延伸出每週策展電子報 Dense Discovery,八年 403 期、36,000 訂閱者、63% 開信率——刻意不追規模,用一個主贊助版位 $649 起加 Friends 付費社群養活自己,證明「夠用就好」也是一種商業模式。
Airbnb 前產品主管 Lenny Rachitsky 2019 年離職後開始在 Medium 寫文,一篇七年心得爆紅後轉戰 Substack,靠「每篇 50+ 輪修改」的品質偏執做到 120 萬訂閱、Podcast 50 萬 YouTube 訂閱、4 萬人 Slack 社群,全程不請一個正職員工。
Alex Lieberman 在密西根大學宿舍寫了一份叫 Market Corner 的 PDF,用聊天口吻重寫華爾街日報式的商業新聞。五年後 Morning Brew 做到 400 萬訂閱、年營收 $13M,被 Insider Inc. 以 $75M 收購。轉介計畫巔峰時貢獻 75% 新增訂閱,是電子報史上最成功的成長引擎之一。
前投行人、創業公司 VP Packy McCormick,2020 年 COVID 封城期間把社交俱樂部轉型為商業分析電子報 Not Boring,兩年內做到 8 萬訂閱、$1M 年營收,並從 $8M 基金一路做到三支基金、200+ 投資——寫作本身就是 deal flow。
從 Stratechery 2014 年證明「一個人寫分析文可以養活自己」到 TLDR 2024 年做到 $10M+ 年營收,十個電子報創業案例拆解出四條變現路線、三種內容模式,以及一個共通規律:格式選擇決定天花板。
Gergely Orosz 在 Uber 管了六年支付系統、經歷疫情裁員後離職,用六年部落格累積的寫作聲量在 Substack 創刊 The Pragmatic Engineer。四個月登上科技類第一、三年半突破百萬訂閱,年營收 $1.5M+——全靠讀者付費,零廣告零贊助。
Ben Thompson 在台北的公寓裡用三層訂閱制開始全職寫 Stratechery,十年後做到 4 萬+付費訂閱、年營收 $5M+,並發展出 Aggregation Theory 這個影響整個科技業的分析框架。Substack 的種子輪 pitch 就是「Stratechery-in-a-box」——他不只是第一個證明模式的人,他本身就是這個模式的原型。
Sam Parr 從納許維爾的熱狗攤起步,靠文案功力和病毒式內容把 The Hustle 在五年內從零做到 150 萬+訂閱,再以八位數價格賣給 HubSpot——買方要的不是內容,是讀者名單背後的 SaaS 漏斗。
耶魯數學經濟系畢業、Jane Street 量化交易員出身的 Dan Ni,因罕見疾病離開華爾街,在密蘇里父母家地下室用每天 50 美元廣告預算啟動 TLDR 電子報。八年後做到 13 個垂直版本、720 萬訂閱者、22 名全遠端員工、年營收破八位數——全部來自廣告,不收讀者一毛錢。
FLUX 是 Black Forest Labs 的圖像模型家族——2024 年 8 月由 Stability AI 的 Stable Diffusion 原班人馬創立後首發,12B rectified flow transformer 一戰成名;兩年後家族已長成五層:klein 4B($0.014 起、家族新一代唯一的 Apache 2.0)/9B、pro($0.03)、flex($0.05)、max($0.07、可即時搜尋網路 grounding),外加 32B 開放權重的 dev;2026 年 8 月更用 FLUX 3 把影片+同步音訊+機器人動作收進同一個 Self-Flow 架構。這篇追蹤從 FLUX.1 到 FLUX 3 的演化、授權三層制與選型建議。
語音模型分兩條線:ASR 線由 Whisper 主導——2022/09 以 MIT 開源 1.55B 模型把轉錄成本打到趨近於零,v2→v3→turbo(decoder 32 層砍到 4 層)之後 OpenAI 轉閉源推 gpt-4o-transcribe;TTS 線則是 ElevenLabs 用品質與生態從新創做到 $11B 估值、$500M ARR,開源陣營靠 Kokoro(82M、Apache 2.0)與 Chatterbox 守住自架陣地。即時對話已被 speech-to-speech 的 Realtime API 重寫遊戲規則。
2024 年 2 月 Sora 預覽震撼業界,兩年半後格局翻轉:OpenAI 於 2026 年 4 月關閉 Sora 消費者 App、API 排定 9 月 24 日退役;Veo 3.1 以原生音訊與 Flow 工具鏈成為敘事首選;快手 Kling 3.0 轉型統一多模態、年化營收 2.4 億美元;Runway Gen-4.5 曾登頂 Artificial Analysis 榜(2025-11 快照)、靠企業工作流站穩專業市場。這篇以家族×世代時間線拆解四大家的演化、規格定價對照與選型建議。
查「認證」只有 10 筆,149 篇裡 41 篇命中被漏掉:D1 FTS5 的 unicode61 對 2 字中文失效、本地 chunks_fts 0 筆、加上硬上限 12 的共同結果;用 LIKE fallback 與拆字 OR 先把召回補回來,再補 trigram 重建與分頁。
MiniMax 從消費級聊天 App 起家,M2.5 在 SWE-bench Verified 拿 80.2% 但 API 價格只有 Claude Opus 的 1/10-1/20;M3(456B 總量 / 45.9B 啟用)是首個在 SWE-bench Pro 突破 59% 的開源權重模型,還有 1M context。
Nous Research 不預訓練,只做 fine-tuning 和 RL——Hermes 4 在 MATH-500 拿 96.3%,NousCoder-14B 只用 24K 樣本就把 Qwen3-14B 的 coding 能力拉高 7%。但真正的護城河是 Hermes Agent 框架:236K GitHub stars,全球第 19 名,3,000 位貢獻者。
DeepReinforce 用 self-improvement RL 訓練的 Ornith 1.5 家族:397B 旗艦在 SWE-bench Verified 拿 86.0 追平 Claude Opus 4.8,35B-A3B 每 token 只啟用 3B 參數卻在同量級 coding benchmark 全面領先,9B 版本可以跑在手機上。MIT 授權、完全開源。