記憶與序列建模 —— RNN、LSTM 與梯度消失/爆炸|MIT 6.7960 第 10 堂
RNN 沿時間傳遞隱狀態,梯度連乘可能衰減或放大;LSTM 以門控制 cell state 的保留與更新,改善長程訊號傳遞但不保證穩定。Self-attention 縮短位置間的資訊路徑,單層 dense attention 的總計算仍隨序列長度平方成長。
RNN 沿時間傳遞隱狀態,梯度連乘可能衰減或放大;LSTM 以門控制 cell state 的保留與更新,改善長程訊號傳遞但不保證穩定。Self-attention 縮短位置間的資訊路徑,單層 dense attention 的總計算仍隨序列長度平方成長。
表示學習的目標是把原始資料壓成「好用」的向量:自編碼器用重建逼出有意義的潛空間,VQ 把連續表示離散化成碼本,自監督則用『遮住一部分再重建』來免費產生監督訊號。
相似性式表示學習不重建輸入,而是直接塑造潛空間的幾何:讓同類表示靠近、異類推遠。InfoNCE 把這件事寫成『在一堆負樣本裡認出正樣本』的分類問題,而 alignment / uniformity 給了它可解釋的評價指標。
把網路變寬到極限,它的隨機初始化輸出會變成一個高斯過程(NN–GP),而訓練動態則由神經切線核(NTK)固定下來。這套理論不只能用來分析,還反過來指導我們設計『對的歸納偏置』。
生成模型本質是在學資料的分佈 p(x)。密度模型直接建模機率,能量模型用一個未歸一化勢能 + 採樣器,GAN 讓判別器逼出逼真樣本,自回歸一步步預測下一個 token,擴散則用『逐步加噪再學去噪』繞開棘手的最大似然。
VAE 的核心是 ELBO + 再參數化:把 log p(x) 替成 E_q[log p(x|z)] − KL(q(z|x)‖p(z)),encoder 輸出 μ/σ 用 z = μ + σ⊙ε(ε ~ N(0,1))讓採樣可反向傳播。訓練 = 重構 + KL 兩項拉扯,由此衍生 β-VAE、posterior collapse、VQ-VAE 等修正。
條件生成的關鍵是「把 y 餵進模型」:cGAN 在 G/D 拼接 y,cVAE 把 y 當額外輸入進 encoder/decoder;擴散模型時代,Classifier Guidance 用外部分類器梯度把生成推向指定類別,Classifier-Free Guidance 則同訓練 conditional + unconditional 並在推論時線性組合兩者——後者是 Stable Diffusion / Imagen 的標準武器。
OOD 失敗不是 bug,是 i.i.d. 假設破掉:covariate shift(影像風格變了)、label shift(類別比例變了)、concept shift(同一個詞意思變了)各有對應的應對方式;最常見的原因是模型抓了『虛假相關』(用草原當牛的存在訊號),IRM 與 domain randomization 想從訓練資料結構本身把這件事修掉,test-time adaptation 在推論時即時修正。
遷移學習的核心是『在大資料上學到的特徵是好的通用表示』:下游任務資料少時,把 backbone 凍住只訓練線性 head;資料夠就全模型微調;想省算力就上 LoRA / adapter。SimCLR、MAE 這類自督導預訓練讓『上游不需要標籤』,下游表現又上一層樓。
ResNet 用殘差連接解決退化問題,讓網路能堆到 100+ 層;EfficientNet 複合縮放平衡深度/寬度/解析度;ConvNeXt 吸收 Transformer 設計重奪 CV 王座。
沙箱系列的商業篇(order 27)。Modal 沙箱從功能變成 $300M–$1B 年化運營率的獨立產品線,說明沙箱如何從「功能」變成「產品」,定價與包裝策略,以及對自建與託管決策的啟示。
沙箱系列的安全篇(order 24)。金融與醫療等受管行業用沙箱要符合什麼合規要求(SOC 2、HIPAA、GDPR、ISO 27001),審計怎麼做,資料主權與跨境限制。
沙箱系列的成本篇(order 26)。比較 wall-clock 與 active-CPU 兩種計費模式,各隔離層級成本差異,以及如何估算月成本與避免隱藏費用。
沙箱系列的業務篇(order 28)。沙箱生命週期管理:暫停(pause)、快照(snapshot)、休眠(hibernation)、恢復(resume)的概念、實作方式、與長任務的適用場景。
沙箱系列的安全篇(order 23)。沙箱執行的工具呼叫、檔案操作、網路請求如何建立可審計軌跡,trace-level 可見度、immutable 日誌、SIEM 整合,以及委譲鏈身份落差。
沙箱系列的雲端全景篇(order 7)。彙整 E2B、Daytona、Runloop、Vercel、Cloudflare、Modal、AWS Bedrock AgentCore、阿里雲 OpenSandbox、Azure Container Apps 九家雲端沙箱供應商的定位、定價、冷啟動、隔離強度與適用場景,附選型決策矩陣。
「沙箱系列」的總覽導讀(order 0)。說明 AI agent 執行不可信程式碼時該跑在哪一層隔離環境、選哪家供應商、以及怎麼設定權限、憑證與網路邊界;詳細技術內容分散在八個子系列,這篇只做導覽。
沙箱系列的動機篇(order 1)。讓 AI agent 執行不可信程式碼時,直接風險包括資料外洩、權限提權、橫向移動、供應鏈中毒、持久性後門——沙箱不是可選加購,而是第一道防線。
HW0 用四題檢查 CS181 的先修:矩陣 y=Xw 的可解條件、目標函數的微分與優化、機率推理,以及用 Python 實作 OLS。做不順的地方就是開學後要優先補的缺口。
HW1 用 80 萬年冰芯溫度資料串起四題:kNN 與核迴歸、最小平方法的幾何證明、基底函數迴歸、以及從機率觀點推出 ridge/LASSO 正則化,最後用 coordinate descent 實作 LASSO。