所有標籤今天的練習題是外送 App 完成訂單單週掉 12%，但真正的重點不是背出 AARRR 這五個字母，是練習怎麼把一個籠統的『訂單掉了』定位到漏斗的哪一段——是新使用者打開 App 的那一步（Acquisition/Activation），還是老使用者回購的那一步（Retention），因為兩種掉法要查的方向完全不同。第二個框架是 OEC（Overall Evaluation Criterion，整體評估準則）：A/B 測試不能只看單一主要指標有沒有漲，因為主要指標可能用犧牲使用者體驗換來的短期暴增，所以要同時盯著一組護欄指標，確認漲幅不是拿長期信任去換的。案例是 Ron Kohavi 與 Stefan Thomke 在 Harvard Business Review 公開的第一手敘述：Bing 一個把廣告標題和第二行文字合併顯示的改版想法，在待辦清單裡放了半年才排進測試，一上線監控系統就跳出『好得不像真的』警報——營收漲幅遠超預期，團隊第一反應不是慶祝，是先排查是不是記錄重複計算的 bug，排查後確認沒有 bug，再檢查護欄指標（使用者體驗相關數字）有沒有被犧牲，確認沒有之後才正式上線，年化貢獻超過一億美元，是 Bing 史上單一改版帶來最大的營收成長。
Metrics 面試最常考的不是背指標名詞，是拿到一個掉下來的數字時，能不能用一套可重複的程序把它拆開查，而不是憑直覺亂猜原因。今天的核心框架是北極星指標的指標樹拆解——把一個太抽象、單一團隊兩週衝刺內摸不到的北極星指標，拆成廣度、深度、頻率、速度四個可以直接被某個小隊影響的輸入指標，範例取自一個 AI 寫作平台把『每週成功產出的 AI 草稿數』拆成四個槓桿的做法。練習題是 PM 面試圈廣泛引用的 diagnostics 真題：『Instagram Stories 單日掉了 7%，DAU 也掉 5%，你會怎麼查？』,拆解示範先把指標定義釐清、再用地理／平台／用戶群分段定位問題範圍、接著把時間軸和內部改版或外部事件對齊、同時排除埋點或計算邏輯本身出錯的可能，最後才下結論並給出後續監控建議，而不是看到數字掉就急著講故事。案例是 Spotify 在早期擴張階段的真實選擇——如果當時選了『總註冊數』當北極星指標，成長團隊會把力氣全部花在把人拉進門，但 Spotify 選了『活躍使用者的聆聽時長』，讓這個數字同時餵養 Discover Weekly 等演算法推薦、也直接決定免費層的廣告庫存量與付費轉換的自然驅動力，示範了『虛榮指標』和『能擷取真實價值的指標』之間的差別怎麼在真實公司的決策裡發生。
2026 年 Metrics & Analytics 面試輪最大的轉變，是從單純的漏斗診斷題變成『指標衝突』題——面試官丟出兩個同時變動、方向相反的數字，考的是你能不能找出背後共同的根因，而不是逐層檢查漏斗哪裡出問題。今天練一道真實題：『YouTube 的留言數上升，但觀看時長下降，你會怎麼做？』答案骨架是把兩個指標都拆成『北極星是哪些輸入變數的函數』，去找有沒有一個輸入變數同時驅動了這兩個相反的結果——例如推薦演算法最近把更多高爭議性短片推上首頁：這類影片天然引發留言戰，讓留言數上升，但使用者點進去發現文不對題、看沒多久就關掉，時長因此下降。案例是 LogMeIn 早期的真實故事：公司一度只看「新註冊使用者數持續成長」這個漂亮的數字，直到 Sean Ellis 帶隊把北極星指標改成『遠端遙控連線次數』才發現，95% 的新註冊使用者從沒建立過一次連線——signup 上升的同時，真正拿到產品價值的使用者比例低到嚇人,這正是今天題目要考的『活動量指標上升,不等於使用者拿到價值』的真實版本。
Harvard 物理課的交叉實驗裡，學生測驗高 0.46 個標準差的那一堂，自評反而低 0.56；一個有生成式 AI 可用的實驗裡，自評高過實際進步能解釋的幅度。觀看時間、平台活動量、預測通過的模型，量到的多半是做了多少，不是另外量的學習。本站的流量統計是匯總的，沒有任何訊號量得到讀者學到沒有。
Metrics & Analytics 面試裡最容易被題目牽著走的陷阱，是面試官先丟出一個「聽起來合理」的指標（像平均觀看時長），然後問你要怎麼拉高它——但真正該做的第一件事，是先質疑這個指標本身對不對，而不是急著想方案。今天練一道真實的面試案例題：「Netflix 想要拉高平均觀看時長，這是對的指標嗎？」答案骨架用指標樹三層架構（北極星→輸入→護欄）搭配 vanity metric 三問——數字上升代表使用者真的拿到更多價值嗎、團隊能解釋並影響驅動它的因素嗎、有證據連結長期結果嗎——先拆穿「觀看時長變長」可能是使用者找不到想看的內容、在首頁瞎滑（decision paralysis），而不是真的更滿意。案例是 Atlassian 的 Rovo 企業搜尋：他們把北極星指標定義成 Query Success Rate（使用者是否真的找到答案，融合點擊、停留時間與按讚倒讚），並把「相關性」當成護欄指標，而不是直接拿搜尋量或查詢次數當目標——正是今天題目要考的『別把活動量誤認成價值』的真實版本。
Metrics & Analytics 面試裡最容易漏分的不是選不出北極星指標，而是選完就結束，沒有同時講出『把資源押在這個指標上，會在哪裡付出代價』。今天練一道 Meta PM 分析思考面試真題：『幫 Instagram Reels 定義一個北極星指標，並說明如果把資源優先給 Reels、犧牲 Stories，會有什麼取捨？』答案框架用北極星指標三要素檢驗法——反映核心價值、是領先指標、團隊能直接影響——先選出候選指標，再用護欄指標配對法替每個候選指標找出『被過度優化時會先出事的那個數字』。案例是 Meta 自己：根據 Sensor Tower 數據，Reels 廣告占 Instagram 全部廣告庫存的比例從 2024 年的 35% 衝到 2025 年超過一半，美國使用者在 Instagram 上花在 Reels 的時間占比也從 37% 漲到 46%，日活躍使用者成長 2% 主要由 Reels 帶動——這正是題目要考的『把籌碼押在一個格式上,整體時間池會怎麼被重新分配』的真實版本。
清大高宏宇 NLP（Fall 2025）解碼與評估單元導讀。前半講模型每一步吐出機率分布之後怎麼選字：greedy 一步錯就回不去，beam search 同時保留幾條候選但偏好短句，top-k／top-p 用抽樣換多樣性（投影片沒寫，教授在課堂口頭補）。後半講怎麼替生成的文字打分：BLEU 的 modified precision 與 brevity penalty、ROUGE-N 與 ROUGE-L、perplexity，以及 GLUE、SQuAD 2.0、MTEB、MMLU 這些 benchmark 各自在量什麼。
CS224U 投影片用同一張三類別混淆矩陣算出 accuracy 0.81、macro F1 0.43：一個指標說系統很好，另一個說它在兩個小類別上幾乎全錯。這個單元的主張是「不同指標編碼不同價值」，並逐一列出 accuracy、F 分數三種平均、perplexity、word error rate、BLEU 各自的範圍、價值與弱點。期末專案的評分看的也是指標選得對不對，不是分數高不高。
Metrics & Analytics 面試最容易翻車的地方，不是算不出數字，而是拿到一個看似合理的指標就直接開始優化，沒有先問『這個指標漲了，對業務一定是好事嗎？』。今天練一道指標評估題：『Netflix 想提高使用者的平均單次觀看時長，這是正確的指標嗎？』答案框架用指標樹：先定義北極星指標、拆出驅動指標與護欄指標，再判斷單一指標的漲跌背後可能有好壞兩種成因。案例是 Netflix 自己——2026 年 Q2 股東信裡承認『engagement 不只是觀看時數的量，還包含內容的品質與多樣性』，並把行之兩年半的半年度觀看時數報告改成一年一次，等於公開示範了『指標漲了不代表故事漲了』這件事。
Metrics 面試最常見的陷阱,是把「哪個指標漲了」直接當成「這個決策是對的」,卻沒有先分清楚北極星指標、驅動指標跟護欄指標分別在保護什麼。今天練一道情境題:A/B 測試顯示新結帳流程讓營收上升,但客戶滿意度分數下降,面試官問「你會怎麼決策」。答案框架是先用指標樹釐清北極星、驅動、護欄三層指標的角色,再深挖滿意度下降背後的機制(是不是退貨率、投訴率也一起變差),而不是只看一個指標的漲跌就拍板。案例是 Netflix 前 CPO Neil Hunt 帶隊做封面圖 A/B 測試時,選定「90 秒內抓住使用者注意力」當唯一北極星指標——光是幫電影《The Short Game》換一張小孩打高爾夫球的封面圖,點擊轉換率就漲了 14%,而公司刻意不讓單集熱度、總體觀看時數這些次要指標搶走最終決策權。
Metrics 題裡最容易漏分的不是『你講不出可能的原因』,是講原因講到一半就開始猜,沒有系統性地把可能性排除乾淨。今天用 Google PM 面試官自己公開的根因排查六維度——production bug、UI/UX 改動、rollout 問題、使用者行為轉移、季節性、外部因素——練一道 Google PM 面試真題『YouTube 留言互動在過去 24 小時內下滑,你的下一步是什麼』,搭配 AARRR 先定位這個指標在漏斗的哪一段。案例是 Airbnb 在 S-1 公開說明為什麼北極星指標是『訂房晚數』而不是訪客數或房源數——因為訂房晚數沒辦法靠灌水的方式做假,一動就代表房客跟房東真的都得到了價值。
Stage 6 是整個 AI-Native SDLC 的收尾也是起點：監控腳本偵測異常 → Claude 自動寫診斷報告為 intent.md → 走完整個開發流程。人從「發起工作」變成「分類和審查工作」。
Metrics 題最容易失手的地方不是講不出指標，是講出一個聽起來合理、卻沒辦法回答『這個指標漲了代表什麼』的名詞。今天用 Lenny Rachitsky 整理的六類北極星指標框架收斂候選範圍，再疊一層指標樹把北極星拆成 output／input／guardrail，練 Meta PM analytical thinking round 常出現的『幫 Instagram Reels 定義北極星指標，並說明如果資源傾向 Reels、犧牲 Stories 會有什麼取捨』。案例是 Netflix 從 DVD 準時到貨率換到串流 15 分鐘觀看率、再換到每月觀看時數中位數的三次北極星指標轉向，示範指標怎麼跟著策略走。
Metrics 題最容易垮的地方不是選不出指標，是說不出「這個指標為什麼能代表使用者價值」，以及分不清相關與因果。Exponent 最新彙整的 2026 真題庫裡有一道 Meta 風格的執行題：留言數上升但觀看時長下降，怎麼辦。今天用指標樹拆解這題，案例是 Facebook 著名的「7 天內加 7 位好友」北極星指標——它幫 Facebook 找到成長槓桿，也一度讓整個矽谷把相關性誤當因果，是講「怎麼驗證指標背後因果關係」的最佳素材。
Workers Observability 負責 debug 和 request tracing；Workers Analytics Engine 負責高基數產品事件與自訂 metrics；GraphQL Analytics API 則查 Cloudflare 既有產品資料。把三者分清楚，才不會把 log 當資料庫，也不會把 billing、monitoring、產品分析混在一起。
分析型面試考的不是你會不會寫 SQL，是你能不能在『DAU 漲、廣告主卻在跑』這種矛盾訊號裡，分清楚哪個指標在說謊。Google 一場真實 debrief 裡，候選人因為把『DAU』當成 News 的北極星指標而被刷掉——committee 要的是能連到商業風險的指標，不是儀表板上最好看的那個數字。今天用指標樹拆一道這樣的題目，案例是 Google Search 那則『改個字體顏色多賺十億美金』的傳說。
Metrics 面試考的是你能不能用數字做決策，而不是你懂多少統計。核心能力：北極星指標的選擇邏輯（為什麼選這個不選那個）、指標樹拆解（找到可操作的 lever）、漏斗分析（哪一步流失最值得修）、A/B testing 的設計與陷阱、以及面對反直覺數據時的判斷力。
「加了 Cross-Encoder 之後感覺好多了」不是科學的評估。A/B 測試讓你知道改動是否真的有效，效果多大，在哪類查詢上有效。
RAG 評估沒有指定工具的業界標準；先把 retrieval、generation、operation 分開量，再依技術棧選 Promptfoo、RAGAS、DeepEval 或 TruLens。