個人學模型訓練要租 GPU 嗎：GPUtw.ai、LoRA、Jupyter 與第一輪實驗
GPUtw.ai 適合個人把短租 GPU 當成學習工具：先跑 Jupyter、Ollama、ComfyUI，再用 LoRA/QLoRA 做小模型微調。它不是大型基礎模型訓練平台，第一次使用應該小額測部署、計費與資料保存。
#gpu
23 篇文章開源 LLM 自架指南：框架怎麼選、硬體怎麼算、什麼時候比 API 划算
2026 年開源模型在 coding benchmark 追平閉源，但自架不只是選模型——vLLM 適合高併發生產服務、SGLang 在前綴重用場景快 29%、Ollama 是本地開發首選、llama.cpp 吃最少資源。A100 雲端租金約 $1.4-2.2/hr，自架損益兩平點大約在每月 100M tokens。
自架推論服務導讀：什麼時候值得自己跑模型
自架推論的關鍵不在引擎多快，而在你的 GPU 使用率：一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7，比多數雲端 API 貴。這篇是系列導讀，把七套工具分成三層，幫你判斷該選哪一層。
TensorRT-LLM：編譯換效能的 NVIDIA 專用 LLM 推論引擎
TensorRT-LLM 是 NVIDIA 的開源 LLM 推論庫（Apache 2.0），用離線編譯把模型權重與計算圖轉成最佳化的 TensorRT engine，再用自訂 CUDA kernel、in-flight batching 與多種平行化壓出硬體極限。代價是只支援 NVIDIA GPU、編譯要數十分鐘、換模型或量化就要重新 build。
TGI：HuggingFace 的 LLM 推論伺服器，以及它為什麼進入維護模式
Text Generation Inference（TGI）是 HuggingFace 自家的 LLM 推論伺服器，用 Rust + Python 實作，率先在開源推論引擎裡引入 continuous batching 與 Flash Attention。2026 年 3 月 GitHub 倉庫歸檔進入維護模式，官方建議遷移到 vLLM 或 SGLang。了解 TGI 仍然重要：它定義了後繼引擎的架構基線，而且許多 HuggingFace Inference Endpoint 上的既有服務仍在跑它。
自架推論伺服器怎麼選：從 Ollama 到 Xinference，六套工具的定位與取捨
自架推論伺服器分三層：執行引擎（llama.cpp）、服務引擎（vLLM、SGLang）、模型管理平台（Ollama、Xinference、Triton）。選對層級比選對工具重要——先問你的瓶頸在排程還是在部署流程，再決定複雜度放在哪裡。
Xinference：一個平台管 LLM、Embedding、語音與圖像模型的自架推論伺服器
Xinference 把 vLLM、SGLang、llama.cpp、Transformers、MLX 五種後端包在同一個管理層，用 Web UI 和 OpenAI 相容 API 統一管理 LLM、embedding、rerank、語音和圖像模型，適合需要多類型模型共存的自架部署；但管理層的解析邏輯也讓攻擊面比純 serving engine 大（CVE-2026-61539 是案例）。
Baseten：從 Truss 打包到 Autoscaling 的模型推論生命週期
Baseten 把自訂模型的打包、GPU 部署、推論引擎、autoscaling 與發布流程收進同一平台；價值不在多一個 OpenAI API，而是讓 ML 團隊保留 runtime 控制權，同時少維護一層 GPU orchestration。
CS336 Lecture 5：GPU 快不是因為每個 thread 快，而是資料少搬幾次
第五講從 SM、warp 與記憶體階層解釋 GPU，再用低精度、fusion、recomputation、coalescing 與 tiling 統一常見優化；FlashAttention 正是這些原則在 attention 上的組合。
CS336 Lecture 6：寫 Triton kernel 前，先學會 benchmark 與 profile
第六講把 GPU 原理落到 kernel：benchmark 看不同尺寸如何縮放，profiler 看實際呼叫與時間，再以 Triton 實作 GeLU、softmax、reduction 與 tiled matmul；快的前提是先量對。
CS336 Lecture 7：從 collective operations 組出資料、張量與管線平行
第七講不從 FSDP API 開始，而是用 broadcast、all-reduce、all-gather、reduce-scatter 與 all-to-all 建立通訊語言，再親手組出 data、tensor 與 pipeline parallelism。
CS336 Lecture 2：先算 FLOPs 與記憶體，再談模型跑不跑得動
第二講把模型訓練還原成 tensor、FLOPs、bytes 與時間：用 einops 管維度，以 arithmetic intensity 和 roofline 判斷瓶頸，再用 gradient accumulation 與 activation checkpointing 交換運算和記憶體。
Berkeley CS285 作業與期末專案：CPU、GPU、H100 成本分界
五份作業從 CPU 友善的 imitation learning 走到 H100 LLM RL 與六小時 offline RL runs；自學者應按成本分三階段，而非整套照搬。
Ray Serve 自架推論服務：Python 服務圖、GPU 排程與自動擴縮
Ray Serve 是建立在 Ray 上的分散式 serving layer：用 deployment 與 handle 組合 Python 服務圖，配置 CPU／GPU replica、自動擴縮與模型多工；它負責編排，不取代 vLLM 或 SGLang 的 LLM 執行引擎。
SGLang 自架推論服務：RadixAttention、OpenAI API 與多 GPU 部署
SGLang 是專攻生成式模型的推論引擎：用 RadixAttention 重用共同前綴的 KV cache，提供 OpenAI 相容 API、結構化輸出與多 GPU 平行化；它解決的是高吞吐 LLM serving，不是完整的產品後端。
NVIDIA Triton Inference Server：多框架模型、自動批次與推論管線
Triton Inference Server 用統一的 HTTP／gRPC 介面服務 TensorRT、ONNX、PyTorch 等模型，核心能力是 model repository、動態批次、instance group 與 ensemble；它適合異質模型平台，不是專為 LLM KV cache 打造的引擎。
Modal：跑推論引擎的那一層，以及它什麼時候不值那個溢價
Modal 是按秒計費的 serverless GPU 平台，同時把 agent sandbox 做成一級公民（官方自報累計啟動逾 10 億個 sandbox、佔營收三分之一以上）。選型的關鍵不是它多方便，是你的 GPU 使用率：2026-08-21 實查，Modal A100 80GB 折算 $2.50/hr、RunPod 同卡 $1.59/hr，使用率超過六成四自己開機器就比較便宜；但同一天 H100 SXM Modal $3.95/hr、Lambda $3.99/hr，這張卡的溢價幾乎是零。
Stanford CS336 導讀：講義是跑得起來的 Python，作業從第二份開始要自己付 GPU 的錢
CS336 的十七堂正課裡，只有九堂是可以執行的 Python 程式，另外八堂是 PDF 投影片——分界線剛好是兩位授課者。第一份作業的講義有八個「低資源提示」教你怎麼在筆電上做完，第二到第五份一個都沒有。課程頁自己列了 B200 的每小時單價，作業講義自己列了每題要幾個 B200 小時。
vLLM：自架推論服務的預設選擇，以及它什麼時候是過度工程
vLLM 是自架 LLM 推論的事實標準（GitHub 89,470 stars，2026-08-21 實查），核心是把 KV cache 當作業系統的分頁來管。但選型的關鍵不在它多快，在你的 GPU 使用率：以 Red Hat 實測的每秒 793 個輸出 token 換算，一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7——比多數雲端 API 貴。
NVIDIA 四張怎麼選：兩張還不能報名，訓練全要付費，官方文件還在打架
NVIDIA 生成式 AI 線有四張：NCA-GENL、NCA-GENM（各 $125，associate）、NCP-GENL、NCP-AAI（各 $200，professional）。選之前先看三件別家沒有的事：一、兩張 professional 的 Register 按鈕都標著「Coming soon」，近期計畫直接只剩兩張 associate；二、NVIDIA 是本系列唯一官方備考課全部付費的廠商，真實成本是考試費加課程費，NCA-GENL 自學五門 $390、NCA-GENM 有兩門只有 $500 講師版、NCP-GENL 官方清單列價合計 $1,620；三、官方文件自相矛盾——NCP-AAI 的權重網頁加總 98%、PDF 加總 92%，NCP-GENL 網頁表格有兩格描述錯置（其中一格是 OpenUSD 的文字）。另外綁定程度差很多：NCP-AAI 只有 7% 綁 NVIDIA 產品，NCP-GENL 有 31% 在考 GPU 與模型壓縮。
NVIDIA NCP-GENL 備考路徑：三成考的是 GPU 與模型最佳化，而官方表格有兩格是壞的
NCP-GENL 是 NVIDIA 的 LLM 專業級認證，$200、120 分鐘、60–70 題。它跟其他 GenAI 證照最大的差別在重心：Model Optimization 17% 加 GPU Acceleration 14% 合計 31%，考的是量化、蒸餾、剪枝、分散式平行與 CUDA profiling，不是接 API。兩個要先知道的：官方頁面的 Register 標著 Coming soon，還不能報名；而且同一頁的權重表有兩格描述文字是壞的——Fine-Tuning 那格寫的是 OpenUSD 的資料交換，Model Optimization 那格寫的是部署內容，兩處我都逐字驗過，正確描述在官方 PDF 裡。
NVIDIA DGX Spark：桌上型 AI 超級電腦，把一個 petaFLOP 塞進你的桌面
NVIDIA DGX Spark 搭載 GB10 Grace Blackwell Superchip，128GB 統一記憶體，提供 1 petaFLOP FP4 算力，售價約 $3,999 美元起。適合開發者在本地跑 200B 參數模型、fine-tune 70B 模型，是目前最容易入手的 NVIDIA AI 開發平台。
vLLM — 從 PagedAttention 到生產級 LLM 推論引擎
vLLM 用 PagedAttention 解決 KV cache 記憶體浪費問題，搭配 continuous batching 和 prefix caching，成為目前最主流的開源 LLM 推論引擎。