TensorRT-LLM：編譯換效能的 NVIDIA 專用 LLM 推論引擎
TensorRT-LLM 是 NVIDIA 的開源 LLM 推論庫（Apache 2.0），用離線編譯把模型權重與計算圖轉成最佳化的 TensorRT engine，再用自訂 CUDA kernel、in-flight batching 與多種平行化壓出硬體極限。代價是只支援 NVIDIA GPU、編譯要數十分鐘、換模型或量化就要重新 build。
#nvidia
8 篇文章NVIDIA Triton Inference Server：多框架模型、自動批次與推論管線
Triton Inference Server 用統一的 HTTP／gRPC 介面服務 TensorRT、ONNX、PyTorch 等模型，核心能力是 model repository、動態批次、instance group 與 ensemble；它適合異質模型平台，不是專為 LLM KV cache 打造的引擎。
NVIDIA 四張怎麼選：兩張還不能報名，訓練全要付費，官方文件還在打架
NVIDIA 生成式 AI 線有四張：NCA-GENL、NCA-GENM（各 $125，associate）、NCP-GENL、NCP-AAI（各 $200，professional）。選之前先看三件別家沒有的事：一、兩張 professional 的 Register 按鈕都標著「Coming soon」，近期計畫直接只剩兩張 associate；二、NVIDIA 是本系列唯一官方備考課全部付費的廠商，真實成本是考試費加課程費，NCA-GENL 自學五門 $390、NCA-GENM 有兩門只有 $500 講師版、NCP-GENL 官方清單列價合計 $1,620；三、官方文件自相矛盾——NCP-AAI 的權重網頁加總 98%、PDF 加總 92%，NCP-GENL 網頁表格有兩格描述錯置（其中一格是 OpenUSD 的文字）。另外綁定程度差很多：NCP-AAI 只有 7% 綁 NVIDIA 產品，NCP-GENL 有 31% 在考 GPU 與模型壓縮。
NVIDIA NCA-GENL 備考路徑：名字寫 LLM，考綱有一半是傳統 ML
NCA-GENL 是職缺點名「NVIDIA Generative AI / LLM 相關認證」時最常指的那張。但官方 blueprint 的權重跟名字落差很大——Core Machine Learning and AI Knowledge 30%、Software Development 24%、Experimentation 22%、Data Analysis 14%、Trustworthy AI 10%，LLM 與 RAG 的內容散在條目層而不是自成一塊，spaCy、NumPy、Keras、cross validation 都在考。另一個要先知道的：NVIDIA 官方備考課程全部要付費（$30 到 $500），是本系列唯一沒有免費官方學習路徑的廠商。官方規格：$125、1 小時、50–60 題、效期兩年、僅英文、pass/fail 不給分數。
NVIDIA NCA-GENM 備考路徑：多模態那張，但兩門必備課程只有 $500 講師版
NCA-GENM 與 NCA-GENL 同價同時長同級別，但重心完全不同：Experimentation 升到 25%（最重），Core ML 從 30% 降到 20%，並多出 Multimodal Data 15% 與 Performance Optimization 10% 兩塊。內容上考 U-Net、CLIP、擴散模型、多模態損失函數、attention map，以及 Riva／NeMo／Triton／ACE 這幾個 NVIDIA SDK。要注意成本結構：官方建議的五門課裡有兩門只有 $500 的講師版、沒有自學選項——純自學路線先天蓋不滿。官方規格：$125、1 小時、50–60 題、效期兩年、僅英文。
NVIDIA NCP-AAI 備考路徑：還不能報名，而且官方兩份文件的權重互相矛盾
NCP-AAI 是 NVIDIA 的 agentic AI 專業級認證，$200、120 分鐘、60–70 題、效期兩年。但兩件事要先知道：一、官方頁面的 Register 按鈕旁標著「Coming soon」，現在還不能報名；二、官方網頁與官方 PDF study guide 的權重表互相矛盾——Deployment and Scaling 網頁寫 13%、PDF 寫 5%，Run/Monitor/Maintain 網頁寫 5%、PDF 寫 7%，而且兩版加總分別只有 98% 與 92%。兩份都是 nvidia.com。文章把它標成範圍與不確定性，不挑一個當事實。
NVIDIA NCP-GENL 備考路徑：三成考的是 GPU 與模型最佳化，而官方表格有兩格是壞的
NCP-GENL 是 NVIDIA 的 LLM 專業級認證，$200、120 分鐘、60–70 題。它跟其他 GenAI 證照最大的差別在重心：Model Optimization 17% 加 GPU Acceleration 14% 合計 31%，考的是量化、蒸餾、剪枝、分散式平行與 CUDA profiling，不是接 API。兩個要先知道的：官方頁面的 Register 標著 Coming soon，還不能報名；而且同一頁的權重表有兩格描述文字是壞的——Fine-Tuning 那格寫的是 OpenUSD 的資料交換，Model Optimization 那格寫的是部署內容，兩處我都逐字驗過，正確描述在官方 PDF 裡。
NVIDIA DGX Spark：桌上型 AI 超級電腦，把一個 petaFLOP 塞進你的桌面
NVIDIA DGX Spark 搭載 GB10 Grace Blackwell Superchip，128GB 統一記憶體，提供 1 petaFLOP FP4 算力，售價約 $3,999 美元起。適合開發者在本地跑 200B 參數模型、fine-tune 70B 模型，是目前最容易入手的 NVIDIA AI 開發平台。