AI 產品設計題考的不是背得出 human-in-the-loop 這個詞,是能不能先問清楚一個具體問題——這個功能錯了的代價多高、這個動作能不能收回——再決定要不要讓 AI 自己動手,還是先停在草稿等人看過。核心框架是風險分級任務分配:把每個決策按『犯錯成本』與『可不可逆』分成三格,高成本且不可逆的要先經人核准才執行,中成本但可逆的用事後抽查,低成本的才放給 AI 自己處理再回報例外。第二個框架是信任校準:目標不是讓使用者無條件相信 AI,也不是讓他每一步都要盯著,是讓他清楚『這個情況該信,那個情況該查』——常見錯誤是以為加一個信心分數就解決了,但研究顯示信心分數本身很難幫使用者做出更好的判斷。練習題是 ZoomInfo PM 面試真題:『你會怎麼設計一個幫銷售開發代表(SDR)寫 outreach 訊息的 AI 功能?』拆解示範先問『這是全自動發送還是草稿輔助』來鎖定範圍,再用風險分級框架推出『發送這個動作不可逆、寫錯會得罪潛在客戶』,所以應該先做草稿輔助,不是一步到位做全自動發送。案例是 Anthropic 自己公布的資料:Claude Code 使用者對權限提示的批准率高達 93%,但這個數字背後藏著『批准疲勞』——人看久了會停止認真檢查,這正是信任校準失敗的真實案例,不是信任校準成功的案例。
AI 產品面試裡『human-in-the-loop 要擺哪裡』是最常被問到卻最容易答成口號的題型——『重要的動作要有人看過』聽起來對,但面試官要的是你能不能把『重要』拆成可操作的判準。今天用 Cloudsoft Solutions 整理的『錯誤成本 × 可逆性 → 審核強度』三層矩陣(高成本不可逆要事前核准、中風險高量可事後抽查、低風險只要例外處理與回饋),搭配 Tcules 整理的八個人機協作 UX 模式——重點是『approve 按鈕本身不等於有效監督』,因為自動化偏誤(automation bias)不會因為訓練或提醒而消失,而 Anthropic 自己的數據顯示 Claude Code 使用者核准了 93% 的權限提示,這正是『審核疲勞』的證據。練習題是自擬的『AI 貸款核准系統要不要人工覆核』設計題,示範如何不要用一刀切的『全部人工審』或『全部自動放』,而是按錯誤成本分三層設計審核強度,並且設計『怎麼證明審核真的有效』而不是只看核准率。案例是 Anthropic 2026 年 3 月發布的 Claude Code auto mode——把『每個動作都要人核准』重新設計成三層架構(安全工具白名單、專案內檔案操作、分類器審核),分類器的兩階段設計把假陽性率從 8.5% 壓到 0.4%,但在真實的危險動作測試集上仍有 17% 漏判率,這個誠實揭露『自動化審核不是零風險,是用可接受的風險換掉審核疲勞』的作法,正是這題最值得模仿的地方。
今天練 AI 產品的品質定義：AI PRD 比一般 PRD 多六段，其中 eval 計畫就是驗收標準；eval 從讀真實 trace 做錯誤分析開始，依「次數 × 對客戶的代價」排序，只替前幾名錯誤寫 eval，檢查方式從最便宜的 code assertion 開始；上線門檻要在看到結果前先寫好，而且分成「零容忍」與「可接受比例」兩類。練習題是 AllthingsPM 題庫收錄的 Perplexity 題，案例是 Intercom Fin 把計費單位從 resolution 改成 outcome。
AI Product Design 面試常考的不是『要不要做人機協作』，而是『這個任務到底該交給 AI 還是留給人』的具體拆解能力。今天練一道 Amazon AI PM 面試真題：『上線前三週，模型評估顯示在邊緣案例上有明顯的幻覺比例，你的下一步是什麼？』答案框架是 Human-AI Task Allocation：先用『錯誤代價』與『使用者能否自行核查』兩個維度，把功能拆成 AI 自主執行、AI 輔助加人工審核閘、人類主導三個桶，再決定要不要為了邊緣案例延遲整個上線。案例是 WorkStep 的『Retain』產品：客戶每月收到上千則員工意見，人根本看不完，Neuron 重新設計後讓 AI 負責掃描跟安全、騷擾、歧視相關的字詞把留言挑出來，但『怎麼回應』完全留給人——這個分工讓客戶規模一年內成長近 400%。
AI Product Design 面試考的不是你懂不懂 LLM，而是你會不會把『信任』當成可以設計、可以量測的介面問題。今天練一道 OpenAI PM Stakeholder 面試真題：『如何為一個能代表使用者採取行動的 AI 系統設計安全機制？』答案框架是 Trust Calibration：先用可逆性與信心水準把動作分級，再用漸進式授權、計畫預覽、二元信心標示三個介面手法讓使用者的核准歷史決定系統能拿到多少自主權，而不是上線第一天就給滿權限。案例是 ClyHealth 臨床 AI 儀表板：醫師一開始拒絕使用只給建議、不給理由的系統，重新設計成一次只顯示一個建議、旁邊放證據面板、底下留一鍵覆蓋鍵之後，模型準確率沒變，但介面透明度的改變讓拒用變成採用。
AI 產品設計面試最容易失分的地方，是把『human-in-the-loop』講成單一開關——要嘛全自動要嘛全人審。今天練一道 Sierra PM 面試真題：企業客戶要求全面管控 agent 回覆，ML 團隊說限制太多會傷害模型品質，怎麼解？答案框架是自主性階梯（suggest → confirm → execute）搭配依風險分級的granular consent，而不是一刀切的限制。案例是 Gemini Gmail 草稿卡片——AI 可以寫，但『送出』永遠是人類的按鈕。
AI Product Design 題最常見的失分點,是把「要不要用 AI」講成信仰題,講不出具體哪類任務可以放手、哪類必須留人。今天用風險×信心矩陣把任務分成可自動、需覆核、必須人在場三區,再用漸進式委任設計「使用者何時願意放權給 AI」的節奏,練一道「維運團隊不願意讓 AI 自主執行多步驟任務」的設計題。案例是 Gusto 的 AI 產品 Cofounder 團隊在 2026 年 9 月公開說明:AI 主持訪談只用在範圍窄、風險低的評估性研究,深度研究一律留給真人研究員。
AI 產品題最容易垮的地方不是講不出願景，是講不出「這個模型會怎麼壞掉、壞掉時使用者會怎麼樣」。Meta 今年把 PM 面試五年來首次改版，新增一輪「Product Sense with AI」，要求候選人跟 AI 一起即時解題，考的正是這件事。今天用前 Google／Meta AI PM Marily Nika 提出的「地圖失敗模式→定義最小可行品質（MVQ）→設計 Guardrail」框架，拆一道真實案例：一個 Slack 摘要助理把還沒拍板的討論當成決策，還幫沒答應的人指派了 owner。案例則看 GitHub Copilot 怎麼用 Ghost Text 讓「忽略建議」的成本趨近於零，讓使用者在數百次互動裡自然校準出該信任哪些建議。
AI 產品面試最常問倒人的不是『你懂不懂 LLM』，是『當模型注定會犯錯，你怎麼設計系統讓錯誤不會傷到使用者信任』。今天用 Riddhi Bhasker 提出的四層架構（記憶／檢索／推理／控制）拆解 human-in-the-loop 該怎麼當成基礎設施設計，並對照 Intercom 讓 AI 自動核准 19% PR、仍守住品質的真實案例。
AI Product Design 是 2025-2026 面試最熱的新題型。核心考點：什麼時候該用 AI（不是所有問題都需要 AI）、human-in-the-loop 的設計模式（什麼時候讓人介入）、信任建立（怎麼讓用戶相信 AI 的輸出）、AI 產品的獨特挑戰（hallucination、latency、cost），以及 AI 產品的評估指標。
價值驗證的單位是假設不是點子。Kohavi 的資料顯示產業中位數只有 10% 的實驗會成功，這代表在 p<0.05 下約 22% 的「獲勝實驗」其實是假陽性；Sean Ellis 的 40% 門檻查不到任何公開資料集；AI 產品的留存要從 M3 而非 M0 起算，且 <$50/mo 的 GRR 只有 23%、>$250/mo 有 70%。