AI 爬蟲工具全景圖：34 個開源專案的五大分類與選型指南
從 MarkItDown (175k stars, MIT) 到 curl_cffi (6k stars)，整理 34 個「爬資料餵 AI」的開源工具。沿五條軸線分類：整站爬取、AI 瀏覽器代理、文件轉檔、智慧擷取、反偵測基建。選型關鍵不是哪個最好，是場景匹配。
ai
1264 篇文章Uncle Bob 不讀 agent 寫的程式碼：他用什麼關卡取代 code review
2026/7/23 Uncle Bob 那則 418 萬瀏覽的貼文不是宣言，是回覆——回一位 1983 年入行的工程師問「我心理上就是需要看懂程式碼，是不是太老派」。而且他沒有完全不讀：6/1 那則四階段 pipeline 的原文寫著 I spot check the code，門檻是 crap ≤ 6（業界慣例 30）、mutation 要 kill all survivors。附開源的 Acceptance-Pipeline-Specification 拆解與 Grady Booch 點名的三個指標盲區。
3D 生成式模型走到哪了：從 Lyra 2.0 拆解 2026 年的技術地圖
2026 年 3D 生成的核心範式是「video diffusion → feed-forward 3D 重建」，Lyra 2.0 是這條線的代表作。但 CVPR 2026 的三篇 Best Paper 暗示下一波轉向：SAM 3D 帶來 foundation model 級別的物件重建、D4RT 用統一 transformer 數秒重建動態 4D、O-Voxel 用結構化 latent 取代 Gaussian。3DGS 仍是主流但正在被表面原語挑戰，pixel-space diffusion 正在反攻 latent-space。
HyperFrames 深度解析：HTML 即影片，Agent 時代的影片製作範式轉移
HeyGen 開源的 HyperFrames 用 HTML data 屬性定義影片時間軸，headless Chrome 逐幀 seek 截圖再由 FFmpeg 編碼成 MP4。3 個月 33k stars，Apache 2.0，21 個 agent skills——AI agent 寫 HTML 就能產影片，不需要 React。
Loop Engineering：當 AI 不再需要你打 Prompt
Loop Engineering 是設計「自動 prompt agent 的系統」而非手動 prompt 的工程實踐。Boris Cherny 跑數百個 agent、Addy Osmani 正式命名、Blake Crosley 指出驗證成本才是真正瓶頸——這篇整理一手來源、五大構建塊、適用邊界與批評觀點。
Text / Image to Lottie：AI 動畫生成工具全景導讀
從 CLI 工具 kin3o 到 CVPR 2026 論文 OmniLottie，盤點把文字和圖片轉成 Lottie 動畫的開源路徑，附效能基準與選型建議。
LLM Agent 的技能管理革命：從 Voyager 到 MUSE-Autoskill 的 Skill Lifecycle 全景
MUSE-Autoskill（2026）提出五階段 skill 生命週期框架，自創 skill 在 SkillsBench 達 60.35%（+7.16%），成功生成 skill 的任務上更達 87.94%，超越人工撰寫上限。本文整合六篇 arXiv 論文，梳理 skill evolution 研究全景。
調整 agent 之後，怎麼嚴謹比較前後差異：從 golden set 到統計檢定
即使 temperature=0，LLM 輸出實測仍可能抖動 15%。要嚴謹比較 agent 調整前後，得靠凍結 golden set、每題跑 ≥3 次取平均、LLM-as-judge 盲評（pairwise 偏好翻轉率高達 35%）與配對統計檢定，而不是前後各問一遍看感覺。
Agent 可觀測性：從 OTel Trace 到抓出幻覺、工具誤用與無限迴圈
業界已收斂到用 OpenTelemetry GenAI 語義約定把每個 LLM call / tool call 變成 span；偵測三大故障再分三條線：faithfulness + semantic entropy 抓幻覺、framework 層 symbolic guardrail 擋 tool misuse、max steps + action hash 去重防無限迴圈，最後全部掛上 Final / Trajectory / Single-step 三層評估。
Agent 的資源理性：在 token、工具呼叫、延遲之間做最優決策
資源受限下的 agent 決策是 bounded rationality 的復活：Rational Metareasoning 用 VOC 獎勵省 20–37% token、BATS 證明沒有 budget awareness 加預算也沒用、FrugalGPT cascade 最高省 98% 成本、Speculative Actions 降 20% 延遲。三約束最後收斂成一條 Pareto 曲線，主線是「從人手調旋鈕走向模型自己做資源理性決策」。
Agent 安全的同一條裂縫：從 Prompt Injection、信任邊界到 Multi-Agent 蠕蟲
三個聽起來不同的 agent 安全問題——tool output 注入、信任邊界、惡意 agent——根是同一個：LLM 把指令與資料攤平成同一條 token 串流，架構上無法區分。理解這條主線，就能看懂從 EchoLeak（CVE-2025-32711，zero-click）到 Morris II AI 蠕蟲的所有攻擊，以及為什麼「把模型調乖」沒用、只有架構約束（六大設計模式、CaMeL）有用。
Agent 怎麼決定「要不要查、查什麼、怎麼合」：Agentic RAG 的三個決策層
傳統 RAG 是固定管線「先查再答」；Agentic RAG 把檢索拆成三層決策：何時檢索（FLARE 用 token 機率、Adaptive-RAG 用複雜度分類器）、檢索什麼（HyDE / RAG-Fusion / 分解 / Step-back）、如何整合（RRF k=60 → cross-encoder rerank → 壓縮，Anthropic 實測失敗率 −67%）。關鍵反直覺：不必要的檢索會傷品質，「決定不查」是一級能力。
別再手工調 prompt：從 GEPA 到 tool description，agent 行為的自動最佳化
自動 prompt 優化（APO）從 APE/OPRO 演進到 GEPA：用語言反思取代稀疏 reward，少 4–35 倍 rollouts 贏過 GRPO 約 6pp。另一邊，tool description 是被忽略的 prompt——小改措辭能讓工具選用率變 10 倍，Anthropic 實測讓 Claude 自我改寫 tool description 勝過人類專家手寫。兩條線正在合流：eval-driven 的自動優化吃掉手工調 prompt。
Deep Research Agent 怎麼蓋：多輪搜尋規劃、衝突調和、可驗證結論
自主研究 agent = 四個可控環節：規劃（拆子問題）、檢索迴圈（search→read→反思 gap→再 search）、證據仲裁（≥2 獨立來源、衝突分型處理）、可驗證輸出（句級引用 + 獨立查核 pass）。兩條路線：訓練派用 RL 端到端學會何時搜（Search-R1 +41%），編排派用 orchestrator-worker 分工（Anthropic 內部評測 +90.2%，代價 ~15× token）。
Machine Theory of Mind：Agent 如何推斷其他 agent 的意圖、知識與目標
從觀察行為反推他者的信念/目標/意圖，學界叫 Machine Theory of Mind。三條血脈：符號 BDI、貝氏逆向規劃、深度學習 ToMnet。LLM 時代最大爭議是 ToMBench 上 GPT-4 仍落後人類 >10 分——高分到底是真推理還是統計捷徑。
Multi-Agent 的錯誤傳播與恢復：向分散式系統借三十年的武器
每步 99% 準確率、跑 100 步，無錯完成率只剩 36%——錯誤複利是結構問題，不是 prompt 能調掉的。分散式系統的 supervisor tree、bulkhead、circuit breaker、saga、durable execution 幾乎可一對一搬進 agent 編排；但 LLM 多了一種傳統系統沒有的故障——不會 crash 的語意錯誤，得靠 Inspector agent（recover 96.4%）與冗餘投票（MAKER 百萬步零錯誤）補上。
語意相似 ≠ 檢索相關：embedding 檢索系統性失靈的情境、偵測與補救
Cosine similarity 和 relevance 在一整類情境系統性背離：否定詞（NevIR 上多數 IR 模型 ≤ 隨機）、精確識別碼、數值門檻、邏輯組合（SoTA 模型在 LIMIT 上 recall@100 < 20）——其中一部分是單向量範式的理論上限，換大模型無解。補救順序：hybrid BM25 → reranker（Anthropic 實測 −67%）→ 上游 metadata 路由 → 領域微調 / multi-vector。
幾百個工具怎麼選得準：tool selection 的崩塌曲線與工程解法
工具一多，選擇準確率不是緩降是崩塌：4→51 個工具從 43% 掉到 2%、10→100+ 個從 78% 掉到 13.62%。根治解法是別一次塞全部——Anthropic Tool Search Tool 用 defer loading + 檢索砍 85% token，Opus 4.5 準確率 79.5%→88.1%。description 品質的效益是條件式的：簡單場景沒差，多工具串接場景 correctness 44%→50%。
換更貴的 embedding 救不了繁中 RAG：三層失敗成因與補救順序
繁中 RAG 檢索失敗是三層疊加：embedding 的粒度缺陷（BGE/GTE 從 0.1B 到 7B 都在「炸鸡」這種簡單 query 上排錯）、簡中/英文語料主導造成的在地詞彙偏移（保費、不保事項對齊不可靠）、MTEB 中文榜是簡體導致選型訊號失真。修復是架構性的：OpenCC 正規化 → hybrid + jieba 斷詞 → reranker → 最後才是在地微調——而且一切前提是先建繁中專屬 eval set。
上傳檔案就自動 embedding 是個壞預設：Adaptive / Agentic RAG 與 Agentic Parsing 論文導讀
把『使用者上傳檔案就自動切 chunk、embedding』設為預設行為，等於替 LLM 預先做了一個它本來可以自己做的決定。從 Self-RAG (2310.11511)、Adaptive-RAG (2403.14403) 到 AgenticOCR (2602.24134) 這條學術線索，正在把『要不要 retrieve、要不要 parse、怎麼切 chunk』三層決策權，從 ingestion pipeline 往後推到對話時的 agent。