評估與上線：怎麼知道 AI 知識庫好用，上線後怎麼持續變好
評估要分兩層：檢索有沒有找到出處段落，回答有沒有依據段落、答得對不對。只看回答會被騙：一項研究發現，給的資料不足以回答時，模型仍有三到六成答對，靠的是它自己的知識，換成只有你們公司答得出的問題就會壞。用 order 11 的測試題兩層都評，越權題和答不了的題也要評；LLM 當評審要跟人工抽樣校準。上線後，把轉人工、被抱怨的對話整理成失敗案例，交回文件負責人修，再加進測試題。
#monitoring
8 篇文章Agent 安全——四種威脅模型，加上沙盒、憑證代管與監控三道限制｜CMU 11-768 第 13 堂
第 13 講的主軸是「限制 agent 能存取什麼、能做什麼」。投影片先用五個真實事件說明出事的方式，再歸成四種威脅模型（惡意使用者、prompt injection、agent 失誤、不當手段）；對策分四層：訓練端的 red teaming 與安全訓練、執行端的沙盒與憑證代管、事後與即時的監控，以及安全評測。最容易被忽略的一點是：把 API key 藏起來，不等於 agent 不能濫用它背後的權限。
AI-Native SDLC Playbook L13：用監控閉環讓 SDLC 自己轉起來
Stage 6 是整個 AI-Native SDLC 的收尾也是起點：監控腳本偵測異常 → Claude 自動寫診斷報告為 intent.md → 走完整個開發流程。人從「發起工作」變成「分類和審查工作」。
Cloudflare Observability 怎麼用：Workers Logs、Traces 與 Analytics Engine 的分工
Workers Observability 負責 debug 和 request tracing；Workers Analytics Engine 負責高基數產品事件與自訂 metrics；GraphQL Analytics API 則查 Cloudflare 既有產品資料。把三者分清楚，才不會把 log 當資料庫，也不會把 billing、monitoring、產品分析混在一起。
MLOps & Deployment 面試攻略：從 CI/CD 到模型監控
MLOps 面試考的是你有沒有把模型推上生產的經驗。高頻考點：ML pipeline 的 CI/CD（跟軟體 CI/CD 有什麼不同）、model registry 與版本管理、A/B testing 的設計與陷阱、inference 的 scaling 策略（水平擴展、模型壓縮、caching），以及生產環境的 monitoring 與 alerting 設計。
Langfuse 完整指南：LLM 應用的可觀測性從零開始
Langfuse 是目前最成熟的開源 LLM Observability 平台。這篇從 Tracing、Prompt 管理、評估、Dataset 四個核心功能切入，帶你搞清楚它在實際專案中怎麼用。
RAG 可觀測性工具全景：2026 年的選擇
自己寫 trace 夠用，但開源工具讓你少做很多事。Langfuse、Phoenix、LangSmith 各有定位，選哪個取決於你對自架、開源、整合複雜度的取捨。
RAG Observability：讓黑盒子變透明的逐節點追蹤
RAG 系統最難的不是建起來，是搞清楚為什麼這次回答不好。Pipeline Tracing 把每個步驟的決策和數據記下來，讓除錯有跡可循。