Skip to content
所有分類

tech

529 篇文章

(一):自迴歸模型的解碼、KV Cache 與 Speculative Decoding|Harvard CS181 作業 6

HW6 Problem 4(20 分)用三個問題拆解「一個 token 接一個 token 生成」的代價:逐步挑最大機率不等於整句最可能、每步重算所有 key 讓成本變成平方級而 KV cache 把它壓回線性、speculative decoding 用小模型先猜再讓大模型一次驗證。全部是紙筆題,但每一題都對應到今天 LLM 推論系統的真實設計。

(二):HMM 與 Kalman Filter|Harvard CS181 作業 6

HW6 Problem 1(15 分)把課堂上的離散 HMM 換成連續狀態:狀態每步加一點高斯雜訊、觀測再加一點雜訊,要你推出 filtering 分布 p(zₜ | x₀…xₜ) 的均值與變異數。這就是一維 Kalman filter。解法只有兩步:先用轉移「預測」,再用觀測「修正」,兩個高斯恆等式題目都給了。

(三):MDP 的 Policy Iteration 與 Value Iteration|Harvard CS181 作業 6

HW6 Problem 2(15 分)給你一張 4×5 的 Gridworld:動作會打滑、獎勵在離開格子時才拿到。你要在 notebook 裡寫 policy evaluation、policy iteration 與 value iteration 各一步,再觀察折扣因子 γ 怎麼改變策略,最後反問「這樣建模機器人任務合理嗎」。環境規則全部已知,所以這是規劃,還不是學習。

(四):Q-learning 玩 Swingy Monkey 與 Embedded EthiCS|Harvard CS181 作業 6

HW6 Problem 3(20 分)要你寫一個表格式 Q-learning agent 玩類 Flappy Bird 的 Swingy Monkey,最低標準是 100 局內至少一次超過 50 分,還要再加一個自選的改進。Problem 5(10 分)是 250 字內的倫理題:假設社群平台的使用者政治立場愈來愈極端,用 RL 的概念解釋 reward 設計可能怎麼推了一把。

用官方 checklist 盤點 HW0–HW3|Harvard CS181 主題單元

CS181 Spring 2026 期中考在 3/10 課堂上進行,佔總成績 15%,閉卷但可帶一張雙面筆記。官方 midterm checklist 分成迴歸、分類、神經網路與模型選擇、SVM 四塊;本篇把每塊對回 HW0–HW3 的題號,標出 2026 作業沒練到的缺口,並說明 2025 版 practice、review 與 concept checks 怎麼用。

techdeep-dive

程式碼要不要寫註解:Clean Code、A Philosophy of Software Design 與 Redis 的三種答案

沒有「不寫註解」派,只有「預設不寫、例外才寫」(Uncle Bob)和「註解是設計的一部分」(Ousterhout、antirez)。兩人 2024–2025 的公開對談裡,雙方都同意 why 註解要寫、廢話註解不要寫;真正吵的是方法的介面註解、長名字能不能取代註解,以及該不該信任註解。實證研究的結論是看品質:同一批受試者,註解讓表現從下降 30% 到提升 34% 都有。

Gemma——Google 的開源側翼:Gemma 4 轉向 Apache 2.0,從手機到工作站的全尺寸開放權重

Gemma 是 Google 對照 Gemini 閉源旗艦的開放權重(open weights)家族;2026 年 4 月的 Gemma 4(E2B/E4B/26B-MoE/31B)把授權從自家 Gemma Terms of Use 換成 Apache 2.0——這是全文最關鍵的變化,也是選型前必須先搞懂的事。

Laguna——從 33B 本機小鋼炮到 118B 長程推理,Poolside 三個月三連發的賭注

Laguna 是 Poolside 的 agentic coding 模型家族:XS 2.1 以 33B-A3B 跑進 36GB Mac,S 2.1 以 118B-A8B、1M context 在 Terminal-Bench 2.1 拿下 70.2%、DeepSWE 40.4%,兩者都掛 OpenMDW-1.1 開源。

百靈(Ling)——從萬億旗艦到 5.1B 高效執行節點,Ant Group 的三線 AGI 棋局

百靈以 Ling 執行、Ring 深度推理、Ming 多模態分工,主軸是同樣算力下的智效比;選型先看任務、部署預算與模態需求。

Muse Spark——Meta 從 Llama 轉向閉源 agentic 模型的完整路線

Muse Spark 是 Meta 的閉源 agentic 模型線:1.3 以 1M context、多模態輸入與長程工具迴圈為主力,Standard 每 1M tokens 為 $1.25 input/$4.25 output,Contributor 則以資料訓練權換取 $0.10/$0.20。它不是 Llama 的下一版,而是 Meta 把模型、API 與 coding agent 一起產品化的另一條線。

Nex-N2.5——把視覺當介面的開源 agent 家族,從 35B mini 到 1.6T Max

Nex-N2.5 是 Nex AGI 的開源 agentic 模型家族:mini 以 35B-A3B 在 OSWorld-G 拿下 82.9 分,Pro 以 397B-A17B、87.4 分超車 Claude Opus 5,Max 以 1.6T 在 BrowseComp 以 92.6 分居全表之冠,三款都掛 Apache-2.0 開源。

techdeep-dive

GPUtw AI Skill 是什麼:讓 AI 編碼助理直接管 GPU 的技能包與 MCP 伺服器

GPUtw AI Skill 是官方的 Agent Skill 技能包加 MCP 伺服器,讓 Claude Code、Codex、Cursor、Copilot、Gemini CLI 用自然語言管理 GPUtw 的台灣 GPU 雲端。18 個 MCP 工具涵蓋目錄查詢、執行個體生命週期、狀態監控與 Vault 操作。MIT 開源。

Groundlane 實戰系列(篇 6):Document 工具全家桶 — effort 旋鈕、field-aware chunking 與 confidence routing

document_parse 新增 effort 參數(fast/standard/deep)把 anydoc WASM、OCR.space、Docling VLM 三條路徑統一成一個旋鈕;document_chunk 的 fieldAware 模式從表格 header 和 metadata 抽欄位名附到 chunk,解決 RAG 的 attribute conflation;document_smart_parse 回傳 confidence 分數讓 agent 自己決定要不要升級。

techdeep-dive

Groundlane 實戰系列(篇 7):Selector Healing、Retrieval Test 與品質 Benchmark

Groundlane v0.1.0 新增四個品質機制:web_extract 的 selector healing(三層確定性 fallback,不用 LLM)、corpus_retrieval_test(RAG 召回品質驗證,受 RAGFlow 啟發)、document benchmark CLI(character-level F1)、search benchmark framework(ground truth corpus + 多 provider 比較)。工具數從 54 增至 55。

AI 安全證照橫評——SecAI+ vs CAISP vs GAIPS vs AAISM

四張 AI 安全證照各有定位:SecAI+($298)是 CompTIA 品牌的中階擴充、CAISP($1,099 全包)實作最強且 OWASP LLM Top 10 覆蓋最完整、GAIPS($999/$9K)是 SANS 金字招牌的防禦側 CyberLive 考試、AAISM($459+)偏治理但需先持有 CISM 或 CISSP。預算 $400 以下選 SecAI+,想動手做選 CAISP,公司出錢選 GAIPS。想走攻擊側(AI 紅隊),2026 年新上線的 OSAI+、HTB COAE、COASP 另成一組,見文末補充。

資安證照全景地圖——軟體開發者該從哪裡開始

2025–2026 年 18 個月內有 10+ 張 AI 安全證照密集上市,傳統三強 Security+($439)、AWS Security Specialty($300)、CISSP($749)仍是基礎。非資安專職的 AI 平台開發者,建議三階段:Security+ → AWS Security → SecAI+ 或 CAISP → CISSP,總預算 $1,780–$2,700。

Security+ → AWS Security → CISSP:三張經典資安證照的 ROI 拆解

Security+($439)2–3 個月自學、官方不公布通過率、薪資溢價 +$10K–$20K;AWS Security Specialty($300)2–3 個月、通過率 45–55%、ROI 最高(40–67x);CISSP($749)3–6 個月、通過率 50–60%、薪資溢價 +$25K–$35K 但需 5 年經驗。五年取得加維護總成本(含教材估算):Security+ 約 $619、AWS Security $200–$350(無年費)、CISSP 約 $1,524。

台灣資安證照生態——法規、培訓機構、備考資源與考場全攻略

台灣資安法 2.0 已三讀、金管會三級制度到位,但都不強制指定證照——真正的需求來自徵才市場。台灣有 7+ 家培訓機構可選:恆逸課程最齊全(SecAI+、COASP、OSAI+ 三種 AI 安全實體班都有)、WUSON 吳文智是 CISSP 圈的傳奇(月月額滿)、DEVCORE 是首家引進 OffSec 原廠講師的機構。ISC2 考場在台北信義區和高雄,多數證照也支援在家線上監考。

Marker: Datalab's Open-Source, Apache 2.0 Pipeline Parser — Faster, CPU-Ready, More Accurate

Marker(Datalab 開源,Apache 2.0 授權,v2.0.0 於 2026-07-20 發布,39.5k stars)是一個以 Markdown 與 JSON 為輸出的 pipeline 式文件解析標準庫,支援 PDF、圖像、PPTX、DOCX、XLSX、HTML、EPUB,並提供可選的 LLM 增強(`--use_llm`,預設 `gemini-3.5-flash`)、可自訂格式邏輯與表格/公式/內嵌數學/連結/參考/程式碼區塊的完整處理、圖像提取與保存、標頭/頁尾移除,並可在純 CPU、GPU 或 MPS(Apple Silicon)環境運作。與 [Docling](/posts/tech/2026-09-06-docling-document-parsing) 同屬解析層,但授權路徑(`Apache 2.0` 代碼 + `AI Pubs Open Rail-M` 模型權重,有商業門檻 `$5M`)、輸出核心(`Markdown` 為主而非結構化 `JSON`)、解析引擎特點(`Pipeline` 式可替換階段,但 `VlmPipeline` 為可選的 `LLM` 增強而非固定 `VLM` 選項)、與 [MinerU](/posts/tech/2026-09-05-mineru-ocr-doc-parsing)(自訂協議、`Markdown` 為核心、`Hybrid` `effort` 參數)的差異形成解析層內三種不同取捨路徑。

tech文件解析實戰

Docling:IBM 開源、MIT 授權、結構化 JSON 為核心的文件解析標準庫

Docling(IBM Research Zurich 起源,現由 Linux Foundation AI & Data 治理,MIT 授權,v2.100.0 於 2026-06-09 發布)是一個以結構化 JSON 為核心輸出的文件解析標準庫,支援 PDF、DOCX、PPTX、XLSX、HTML、EPUB、Apple Pages、影片(MP4/AVI/MOV,含 ASR 轉錄與代表性幀)、音訊(WAV/MP3)、電子郵件(EML/MSG)、ODF 與 XBRL 財報,並提供可替換階段的 pipeline 式解析(純 CPU 或 GPU 加速)、VlmPipeline 選項(GraniteDocling 258M VLM)、MCP server 與 API server(docling-serve),與 LangChain / LlamaIndex / Crew AI / Haystack 原生整合。