Groundlane 實戰系列(篇 5):踩坑與最佳實踐 — timeout、selector、render 模式與安全邊界
整理實戰中最常見的操作陷阱:timeout 與位元組上限導致的 truncated、selector 設計錯誤、render 模式切換的成本與確定性風險、版本變動(v0.1.0 早期預覽)的可重現驗證方式,以及預設安全邊界不可繞過的原因。
第 75 頁,共 129 頁
整理實戰中最常見的操作陷阱:timeout 與位元組上限導致的 truncated、selector 設計錯誤、render 模式切換的成本與確定性風險、版本變動(v0.1.0 早期預覽)的可重現驗證方式,以及預設安全邊界不可繞過的原因。
美股 LLM agent 已經捲到近十萬星,台股在 GitHub 上卻連一個破 10 星的都沒有;我把三個 side project 收斂成一個「每個結論都要先過回測」的台股研究 agent,這篇講為什麼。
五個 analyst 在同一個 superstep 並行 fan-out,延遲是 max 不是 sum;回測與 reflection 擋在 synthesis 前面,讓 LLM 只能解釋已存在的證據。
只有兩個 role 會叫 LLM,其餘分析師全程程式化;每個 call 依 Anthropic API → 本地 claude CLI → 規則降級的鏈路走,成本只信 provider 回報值,未知成本永遠不當 $0。
這個專案的核心規矩:任何 LLM 結論必須先通過同一組訊號的歷史回測,期望值為負時 synthesis 禁止樂觀;四個讓回測說謊的坑各有程式化對策。
我不量測『感覺很準』,我用 walk-forward 凍結參數跑 OOS、run card 記錄每次輸入的 hash、golden eval 留下 5/10 = 50% 的誠實 baseline,讓這個 agent 承認自己還不準。
LLM 寫報告時最容易幻覺的不是觀點而是數字,所以我把所有可信數字建成 SHA-256 定址的 evidence manifest,LLM 只能引用 {{fact.id}},膽敢寫裸數字就整份丟棄回退規則模板。
研究請求先變成一份要人批准的 ResearchPlan,外部文件必須完整抓取並驗證逐字引用才能進報告,quant 的審查意見永遠 append-only、free-text 永不回流進 prompt——這是 M5 Copilot loop 的完整樣貌。
用三個 frozen Pydantic 合約把「研究成果」和「下單權限」之間焊死:內容定址、八道硬性閘門、paper-only,agent 永遠摸不到憑證。
一個 Python agent 從本機 uv run 到 Docker 到 Cloudflare Containers 公開 API 的完整部署鏈:Worker 擋認證、Container 跑 FastAPI、secret 永遠不進映像檔,10 分鐘沒人用就自動休眠——side project 的正確省錢姿勢。
學術搜尋不能把五個 API 的結果直接串起來:先用 arXiv/PubMed 做領域發現,再用 DOI、PMID、arXiv ID 對齊 OpenAlex/Semantic Scholar,最後由 Crossref 與 PubMed 關係資料檢查正式版本、勘誤與撤稿。
AG2 延續 AutoGen 的 ConversableAgent 心智模型:agent 透過訊息協作,GroupChatManager 再用 round-robin、manual、random 或 LLM 決定下一位發言者。
七套工具不是同一類產品:LangGraph、MAF 與 Mastra偏耐久工作流,CrewAI 與 AG2 偏多 agent 協作,Pydantic AI 偏型別化 Python agent,DSPy 則用資料與 metric 最佳化整個 AI 程式。先選控制模型,再選框架。
Agent 不該把使用者原句直接丟給每一種搜尋服務:先辨認 exact lookup、keyword、semantic 或 fielded search,再把來源、時間、語言與欄位限制放進 provider 原生參數,最後依零結果、結果過廣與來源不對症狀改寫。
Amazon Bedrock 不只是代售多家模型 API;它把模型呼叫、IAM、Region、Knowledge Bases、Guardrails 與 CloudWatch 串成同一套 AWS 控制面。它最適合已在 AWS 上、治理成本比最低 token 單價更重要的團隊。
Phoenix 是 MIT 授權的開源 LLM observability/eval 平台:先用 OpenTelemetry + OpenInference 收 trace,再把 production failure 收進 versioned dataset,以 experiment 比 prompt、model 或 RAG 改動,最後用 code、human 與 LLM evaluator 回寫分數。它不是 Arize AX;自架預設無認證且永久保留資料,正式環境必須先補安全政策。
登入狀態不是方便攜帶的設定,而是一把能冒用身分的鑰匙。安全做法是使用專用低權限帳號與隔離 browser profile,把讀取、可逆寫入、高風險交易拆成三級,MFA 與最後提交留給人。
Baseten 把自訂模型的打包、GPU 部署、推論引擎、autoscaling 與發布流程收進同一平台;價值不在多一個 OpenAI API,而是讓 ML 團隊保留 runtime 控制權,同時少維護一層 GPU orchestration。
Braintrust 把 versioned datasets、immutable experiments、scorers 與 production traces 接成同一個評估迴圈;它的價值不是多一個分數,而是把線上失敗送回離線測試。公司在 2026-02 宣布 8,000 萬美元 B 輪,客戶名單為公司自報。
Brave Search API 以 Brave 自有的網頁索引與排名模型提供 Web、News、Images、Videos 與 LLM Context 五類端點;核心搜尋不只是 Google SERP 的 API 包裝。