在 Google Colab 免費 T4 上試跑 vLLM:十五分鐘看懂推論引擎在做什麼
Mac 沒有 NVIDIA 卡跑不了 vLLM,Colab 免費 T4(compute capability 7.5,剛好達 vLLM 最低門檻)可以。用 vllm serve 把 0.6B 的 Qwen3 開成 OpenAI 相容 API,再同時打 8 個請求、看 /metrics,就能親眼看到 continuous batching。
Mac 沒有 NVIDIA 卡跑不了 vLLM,Colab 免費 T4(compute capability 7.5,剛好達 vLLM 最低門檻)可以。用 vllm serve 把 0.6B 的 Qwen3 開成 OpenAI 相容 API,再同時打 8 個請求、看 /metrics,就能親眼看到 continuous batching。
第一講前半說明課程規則與閃電秀,中段回答「為什麼要學原理」:蔡炎龍把學 AI 的焦慮拆成三種,主張懂原理才知道模型的限制、不必追著每個新工具跑。後半是 Colab 入門,從魔術指令、四行標準套件、plt.plot 到 Markdown 與 ipywidgets 互動。第一份作業是在 Colab 畫一個函數圖形;長庚衛星班的評分標準裡,照改範例只拿 6 分,沒教過的函數加上漂亮的 Markdown 註解才拿 10 分。
MIT 6.S191 的 2026 版已公開九講影片、投影片、三個 software labs 與解答,足以列為 A3 自學課;但官方執行路線需要 Google/Colab、Comet,以及 Lab 3 的 OpenRouter,校外讀者也拿不到 MIT 的學分、專案回饋與 API credit。