擴散模型的雜訊預測損失、基礎模型與 LoRA｜Stanford CS229 第 12 堂
前半堂把擴散模型的 ELBO 收成一條式子：每個時間步都是「猜出當初加進去的雜訊」的平方誤差，訓練五步、取樣一個迴圈。後半堂開始講基礎模型：預訓練加適應的兩階段、linear probe、finetune、LP-FT，以及 LoRA 只訓練 2dr 個參數卻省不了多少運算的原因。
#lora
20 篇文章LoRA 微調驗收：梯度、資料與評估｜CMU 10-423 作業 3
以自擬數值例子驗收梯度、資料與評估，並保留原作業規格。
PEFT與ICL：改參數，還是改輸入｜CMU 10-423 主題單元
你可以讓模型適應新任務而不重訓所有參數，但這句話包含兩種不同做法。LoRA等PEFT方法仍有訓練，少量參數會改變；ICL把示例放進上下文，推論時不因這些示例做參數更新。來源也不只兩堂：第9堂末段已有zero/few-shot，第10堂講PEFT，第11堂接ICL與後續調適。
用 DeepSpeed ZeRO＋LoRA 訓練 Llama-2-7B，用 SGLang 做推論｜CMU 11-868 作業 6
11-868 第六份作業第一次放下自己寫的 MiniTorch，改用產業框架。兩題各 50 分：第一題改一支 DeepSpeed 訓練腳本，打開 LoRA，讓 Llama-2-7B 在 2 張 16GB 的 V100 上訓練得起來；第二題填完 SGLang 推論腳本的 TODO，並調參數讓生成跑快一點。兩題要的 GPU 互相衝突：SGLang 不支援 V100，要換 L40S、A6000 或 A100。春季版 4/13 截止，作業頁不提供評分測資。
大模型的高效微調：LoRA、CIAT 與 QLoRA｜CMU 11-868 第 23 堂
11-868 第 23 講把微調當成記憶體問題來算：LLaMA-8B 全參數半精度微調約要 80GB，換成 LoRA 約 33GB，再把凍結權重存成 4-bit 的 QLoRA 壓到約 9.2GB。這講的主線是三步：只訓練低秩的 A、B 兩個小矩陣（投影片說這招最早出自 CIAT）；用 NF4 查表與雙重量化把凍結權重壓到約 0.52 bytes／參數；用 paged optimizer 在 GPU 快爆時把 optimizer state 換到 CPU。
用 1B 模型親手重現 emergent misalignment｜Harvard CS2881R 作業 0
CS 2881R 的 HW0 是選課門檻：用 LoRA 把 Llama-3.2-1B-Instruct 微調在壞的醫療、財務或極限運動建議上，再看它回答無關問題時是否也變得有害。repo 給了加密的訓練資料、generate.py、以 gpt-4o-mini 當裁判的 judge.py，README 的目標是對齊分數低於 75、連貫度高於 50；train.py 是空的，要自己寫。自學時要知道：評分腳本只印平均分數，沒有自動判定過關，拿來比較的基礎模型基準是 20 題醫療題，而你的 CSV 是醫療題與非醫療題各 10 題。
LLM 後訓練——從 SFT、RLHF 到只動 1% 參數的高效微調｜MIT 6.5940 第 14 堂
第 14 講分三段。第一段是微調：SFT 用想要的回答做 next-token prediction，RLHF 先訓 reward model 再用帶 KL 懲罰的 RL 微調，DPO 把兩階段壓成一次監督式訓練；接著一路比較 PEFT：BitFit 只調 bias、Adapter 插小層但推論變慢、Prompt/Prefix-Tuning 佔用輸入長度，LoRA 用可併回權重的低秩分支解決推論延遲，QLoRA 再把主幹量化成 NF4，BitDelta 把微調差值壓到 1 bit。第二段是多模態 LLM：Flamingo 用 cross-attention、PaLM-E 與 VILA 把影像當 token、VILA-U 讓模型也能輸出影像。第三段是 prompt engineering：zero/few-shot、CoT 與 RAG。
文字生圖 AI 的原理及實作——CLIP 讀懂 prompt、排程器決定要不要「A 圖」、LoRA 只調 ΔW，最後用 diffusers 做出自己的生圖 Web App｜政大蔡炎龍 生成式AI 第 11 堂
L11 把 Stable Diffusion 架構圖上剩下的三塊補齊。CLIP 用「文字和圖越像越好」的對比訓練，讓 prompt 變成 77×768 的 embedding；排程器把 1000 步的加噪壓成二、三十步的去噪，但 Euler a 這類 ancestral 演算法不會收斂，步數加到 100，人物的衣服和座位都會換掉；LoRA 凍結原本的 W，只學拆成 A·B 的 ΔW。實作用 diffusers 載入 SD 1.5 系模型，第十一週作業是自己做一個生圖 Web App。
清大高宏宇 NLP 導讀：Parameter-Efficient Fine-Tuning——沒有 A100 叢集，怎麼微調大模型｜清大高宏宇 自然語言處理 主題單元
高宏宇 Fall 2025 的 PEFT 投影片先算一筆帳：Llama 2-7B 用 16-bit 全參數微調約要 56GB 顯示卡記憶體，只訓練 0.2M 個參數就降到約 17GB，因為梯度和優化器狀態幾乎歸零。接著用 intrinsic dimensionality 解釋為什麼只調一小撮參數就夠：預訓練越久、模型越大，微調需要的有效維度越低。方法分成加參數（Adapters、Prompt Tuning）、挑參數（BitFit）、重參數化（LoRA）與混合（MAM Adapters、S4）四類；後半段從 GPT-2 的任務描述、verbalizer 一路講到 prefix tuning 和 soft prompt tuning 的取捨。
後訓練與高效調整：模型怎麼學會照指令做事、怎麼便宜地改｜台大陳縕儂 深度學習之應用 第 7 堂
預訓練完的模型很會接話，卻不一定會照指令做事。這一堂前半講 post-training 的兩步：instruction tuning 用大量不同任務教模型讀懂任務描述，RLHF 再讓模型朝人類偏好的整份回答靠攏，中間靠 reward model 與成對比較解決人力與評分不一致的問題，DPO 與 KTO 則把強化學習那一段拿掉。InstructGPT 與 ChatGPT 就是這兩步串起來。後半講 LLM adaptation：模型太大、整個微調太貴，所以只訓練少量參數，做法有 Adapter、LoRA 與 prompt tuning，沒有哪一種在所有任務都最好。
從 PyTorch、Hugging Face 到 LoRA、量化與 vLLM 部署｜台大陳縕儂 深度學習之應用 助教課
ADL Fall 2025 課程頁排了 7 堂助教課、10 支影片：Colab 與 PyTorch、ipdb 除錯 → NLP 專案的一生 → 四種 NLP 任務的資料格式 → LoRA 與 QLoRA → scaling law、LLaMA 架構與 MoE → 量化與評估 → 用 vLLM 部署。影片是助教在 2023 與 2024 年錄的，Fall 2025 沿用，影片裡說的作業一、作業三是當年的作業。課程頁上的 5 份講義連結都 404，同名檔在 Fall 2024 路徑可以打開，Deployment 只有影片。本文依影片口述逐堂整理助教實際示範的步驟與提醒，附可以手算的例子。
把 Llama 教會算數學，又不讓它忘了怎麼拒絕｜台大李宏毅 機器學習 作業 5
HW5 用 LoRA 在 GSM8K 上微調 Llama-3.2-1B-Instruct，同時拿 AILuminate 的危險提示檢查它還會不會拒絕。數學正確率和安全率要同時過線才拿得到 baseline 分數，所以重點是「怎麼微調才不會把安全行為洗掉」。題目 PDF、34 個 cell 的 Colab 與 Kaggle 版都公開，strong baseline 在 T4 上預估要跑 14 小時；評分平台 JudgeBoi 在 2026-09-30 回傳 502，校外只能自己搭 safeguard 評估。
LLM 訓練的帳單，預訓練、SFT 與 LoRA 各花在哪裡｜Stanford CME295 第 4 堂
CME295 第 4 講把 LLM 訓練拆成兩段：先用上兆個 token 做預訓練（Llama 3 用了 15 兆），再用數千到數百萬筆示範資料做 SFT，讓模型從「接話」變成「回答」。中間穿插一張省記憶體的地圖：ZeRO、FlashAttention、混合精度；最後用 LoRA 與 QLoRA 讓沒有大 GPU 的人也能微調，QLoRA 在 65B 模型上省下約 16 倍 VRAM。
個人學模型訓練要租 GPU 嗎：GPUtw.ai、LoRA、Jupyter 與第一輪實驗
GPUtw.ai 適合個人把短租 GPU 當成學習工具：先跑 Jupyter、Ollama、ComfyUI，再用 LoRA/QLoRA 做小模型微調。它不是大型基礎模型訓練平台，第一次使用應該小額測部署、計費與資料保存。
從零訓練的框架：LitGPT 的無抽象重寫、pretrain 流程與 TinyLlama 實績
LitGPT（Lightning AI，約 13,600 stars，Apache 2.0）把 Llama 3、Qwen2.5、Phi 4 等 20+ 個 LLM 逐一從零重寫成無抽象層的單檔實作，附 pretrain / finetune / evaluate / serve 完整命令列；1.1B 參數、3T tokens 的 TinyLlama 就是用它的程式碼訓出來的。這篇拆解它與 MiniMind 的差異、實際用法與限制。
MiniMind：用 3 塊錢從零訓練一個 LLM
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
Unsloth 完整指南：在本地微調和運行 LLM 的加速工具
Unsloth 是目前最省 VRAM、最快的本地 LLM 微調工具，訓練速度快 2 倍、VRAM 省 70%。2026 年加入 Desktop 桌面應用後，整合了推論、微調、圖片影片生成、web search 和 agent 連接，從微調庫變成完整的本地 AI 工作站。
Prompting、LoRA 與參數高效微調｜Stanford CS224N 第 9 堂
第 9 講比較 prompting、pruning、LoRA、prompt tuning 與 adapters：它們都在回答同一題——要讓一個大型預訓練模型適應新任務，究竟需要改多少參數與儲存多少任務狀態？
LoRA 低秩更新：Tinker 客座課前預習｜Stanford CS224N 第 18 堂
手算低秩更新、分清更新與完整權重的秩，並計算可訓練參數。這是依 LoRA 論文的課前預習，不重建尚未取得公開材料的 Tinker 客座內容。
跳頻不是加密：ExpressLRS 原始碼與台灣的頻道數功率上限
ExpressLRS 的跳頻順序由一句綁定口令經 MD5 推出 UID、再餵給一個線性同餘產生器算出來，完全可複現（我移植成 Python 跟原始 C 碼逐位元對過），而鏈路本身沒有任何加密，只有 14 bit CRC。台灣 LP0002 又讓頻道數變成功率上限：2.4 GHz 跳頻用滿 75 個頻道可以發 1 W，不足只能發 0.125 W。