Skip to content
所有分類

tech

529 篇文章

記憶與序列建模 —— RNN、LSTM 與梯度消失/爆炸|MIT 6.7960 第 10 堂

RNN 沿時間傳遞隱狀態,梯度連乘可能衰減或放大;LSTM 以門控制 cell state 的保留與更新,改善長程訊號傳遞但不保證穩定。Self-attention 縮短位置間的資訊路徑,單層 dense attention 的總計算仍隨序列長度平方成長。

表示學習(重建式)—— 自編碼器、VQ 與自監督|MIT 6.7960 第 11 堂

表示學習的目標是把原始資料壓成「好用」的向量:自編碼器用重建逼出有意義的潛空間,VQ 把連續表示離散化成碼本,自監督則用『遮住一部分再重建』來免費產生監督訊號。

表示學習(相似性式)—— 度量學習、對比學習與 InfoNCE|MIT 6.7960 第 12 堂

相似性式表示學習不重建輸入,而是直接塑造潛空間的幾何:讓同類表示靠近、異類推遠。InfoNCE 把這件事寫成『在一堆負樣本裡認出正樣本』的分類問題,而 alignment / uniformity 給了它可解釋的評價指標。

表示學習的理論視角 —— 歸納偏置、高斯過程與 NN–GP 對應|MIT 6.7960 第 13 堂

把網路變寬到極限,它的隨機初始化輸出會變成一個高斯過程(NN–GP),而訓練動態則由神經切線核(NTK)固定下來。這套理論不只能用來分析,還反過來指導我們設計『對的歸納偏置』。

生成模型基礎 —— 密度/能量模型、GAN、自回歸與擴散|MIT 6.7960 第 14 堂

生成模型本質是在學資料的分佈 p(x)。密度模型直接建模機率,能量模型用一個未歸一化勢能 + 採樣器,GAN 讓判別器逼出逼真樣本,自回歸一步步預測下一個 token,擴散則用『逐步加噪再學去噪』繞開棘手的最大似然。

變分自編碼器(VAE)—— ELBO、再參數化技巧與潛變數表示|MIT 6.7960 第 15 堂

VAE 的核心是 ELBO + 再參數化:把 log p(x) 替成 E_q[log p(x|z)] − KL(q(z|x)‖p(z)),encoder 輸出 μ/σ 用 z = μ + σ⊙ε(ε ~ N(0,1))讓採樣可反向傳播。訓練 = 重構 + KL 兩項拉扯,由此衍生 β-VAE、posterior collapse、VQ-VAE 等修正。

條件生成模型(Conditional Generative Models)—— cGAN、cVAE 與 Classifier-Free Guidance|MIT 6.7960 第 16 堂

條件生成的關鍵是「把 y 餵進模型」:cGAN 在 G/D 拼接 y,cVAE 把 y 當額外輸入進 encoder/decoder;擴散模型時代,Classifier Guidance 用外部分類器梯度把生成推向指定類別,Classifier-Free Guidance 則同訓練 conditional + unconditional 並在推論時線性組合兩者——後者是 Stable Diffusion / Imagen 的標準武器。

out-of-distribution 泛化 —— 領域偏移、虛假相關、與三條實務對策|MIT 6.7960 第 17 堂

OOD 失敗不是 bug,是 i.i.d. 假設破掉:covariate shift(影像風格變了)、label shift(類別比例變了)、concept shift(同一個詞意思變了)各有對應的應對方式;最常見的原因是模型抓了『虛假相關』(用草原當牛的存在訊號),IRM 與 domain randomization 想從訓練資料結構本身把這件事修掉,test-time adaptation 在推論時即時修正。

遷移學習(Transfer Learning)—— 預訓練、特徵抽取、與微調策略|MIT 6.7960 第 18 堂

遷移學習的核心是『在大資料上學到的特徵是好的通用表示』:下游任務資料少時,把 backbone 凍住只訓練線性 head;資料夠就全模型微調;想省算力就上 LoRA / adapter。SimCLR、MAE 這類自督導預訓練讓『上游不需要標籤』,下游表現又上一層樓。

現代 CNN 架構 —— ResNet、EfficientNet、ConvNeXt|MIT 6.7960 主題單元

ResNet 用殘差連接解決退化問題,讓網路能堆到 100+ 層;EfficientNet 複合縮放平衡深度/寬度/解析度;ConvNeXt 吸收 Transformer 設計重奪 CV 王座。

techguide沙箱系列

沙箱作為獨立商業產品:Modal $300M ARR 啟示

沙箱系列的商業篇(order 27)。Modal 沙箱從功能變成 $300M–$1B 年化運營率的獨立產品線,說明沙箱如何從「功能」變成「產品」,定價與包裝策略,以及對自建與託管決策的啟示。

techguide沙箱系列

金融/醫療合規與沙箱審計

沙箱系列的安全篇(order 24)。金融與醫療等受管行業用沙箱要符合什麼合規要求(SOC 2、HIPAA、GDPR、ISO 27001),審計怎麼做,資料主權與跨境限制。

techguide沙箱系列

沙箱成本模型:wall-clock vs active-CPU 計費

沙箱系列的成本篇(order 26)。比較 wall-clock 與 active-CPU 兩種計費模式,各隔離層級成本差異,以及如何估算月成本與避免隱藏費用。

techguide沙箱系列

沙箱生命週期管理:暫停、快照、休眠與恢復

沙箱系列的業務篇(order 28)。沙箱生命週期管理:暫停(pause)、快照(snapshot)、休眠(hibernation)、恢復(resume)的概念、實作方式、與長任務的適用場景。

techguide沙箱系列

沙箱可觀測性與審計軌跡

沙箱系列的安全篇(order 23)。沙箱執行的工具呼叫、檔案操作、網路請求如何建立可審計軌跡,trace-level 可見度、immutable 日誌、SIEM 整合,以及委譲鏈身份落差。

techguide沙箱系列

AI Agent 雲端沙箱產品全景與選型矩陣

沙箱系列的雲端全景篇(order 7)。彙整 E2B、Daytona、Runloop、Vercel、Cloudflare、Modal、AWS Bedrock AgentCore、阿里雲 OpenSandbox、Azure Container Apps 九家雲端沙箱供應商的定位、定價、冷啟動、隔離強度與適用場景,附選型決策矩陣。

techguide沙箱系列

沙箱系列導讀:AI Agent 執行環境閱讀地圖

「沙箱系列」的總覽導讀(order 0)。說明 AI agent 執行不可信程式碼時該跑在哪一層隔離環境、選哪家供應商、以及怎麼設定權限、憑證與網路邊界;詳細技術內容分散在八個子系列,這篇只做導覽。

techguide沙箱系列

為什麼不能直接讓 agent 跑在你的機器上

沙箱系列的動機篇(order 1)。讓 AI agent 執行不可信程式碼時,直接風險包括資料外洩、權限提權、橫向移動、供應鏈中毒、持久性後門——沙箱不是可選加購,而是第一道防線。

開學前先做這 4 題,卡哪題就先補哪裡|Harvard CS181 作業 0

HW0 用四題檢查 CS181 的先修:矩陣 y=Xw 的可解條件、目標函數的微分與優化、機率推理,以及用 Python 實作 OLS。做不順的地方就是開學後要優先補的缺口。

冰芯溫度迴歸 — kNN、核迴歸、基底函數與正則化四題導讀|Harvard CS181 作業 1

HW1 用 80 萬年冰芯溫度資料串起四題:kNN 與核迴歸、最小平方法的幾何證明、基底函數迴歸、以及從機率觀點推出 ridge/LASSO 正則化,最後用 coordinate descent 實作 LASSO。