Skip to content
所有分類

learning

345 篇文章

Adding Random Variables 與 Central Limit Theorem|Stanford CS109 第 15 堂

少數分布的 independent sums 有 closed form;一般 IID sums 則由 CLT 在大樣本下近似 Normal,離散 sums 還需 continuity correction。

Bootstrapping:sampling statistics、error bars 與 p-values|Stanford CS109 第 16 堂

Bootstrap 把 sample histogram 當作 population proxy,以 replacement 重抽並重算 statistic,近似 estimator 的 sampling distribution、error bar 與 null p-value。

Algorithmic Analysis:conditional expectation、indicators 與 recursion|Stanford CS109 第 17 堂

隨機程式的 expected cost 可依第一個 random choice 分情境;計數問題則拆成 indicators,兩者都靠 linearity,而不必硬求完整 distribution。

Information Theory:surprise、entropy、information gain 與 KL|Stanford CS109 第 18 堂

Surprise 把低機率事件轉成 bits;entropy 是 expected surprise,information gain 選擇最能降低 uncertainty 的問題,KL 則量化錯用 model distribution 的額外代價。

Maximum Likelihood Estimation:固定資料,找最能解釋資料的參數|Stanford CS109 第 19 堂

MLE 固定觀察資料、最佳化參數;log-likelihood 讓乘積變加總,但最大值也可能落在邊界。

Logistic Regression:從 Bernoulli likelihood 推出 gradient|Stanford CS109 第 20 堂

Logistic regression 用 sigmoid 把線性分數變成 Bernoulli 機率,而 gradient xⱼ(y-ŷ) 直接來自 log-likelihood 的 chain rule。

Comparing Classifiers:accuracy 之外還要問 calibration、錯誤成本與 fairness|Stanford CS109 第 21 堂

比較 classifier 不能只看 accuracy;還要用 held-out data、baseline、calibration、precision/recall 與明確的 fairness criterion。

Deep Learning:用 chain rule 推出 backpropagation|Stanford CS109 第 22 堂

Neural network 是堆疊的 logistic units;forward pass 算機率,backpropagation 重用 output error 來計算所有 gradients。

作業系統的歷史、抽象化與三條課程主線|Stanford CS111 第 1 堂

第 1 講沿 1940 年代共用 I/O 卡片、batch processing、multiprogramming 與個人電腦的演變,解釋 OS 的功能如何隨硬體成本與使用者需求逐層增加。

行程與執行緒的執行抽象、狀態與切換|Stanford CS111 第 2 堂

第 2 講先定義行程與執行緒的共享/私有狀態,再用 fork、execvp、waitpid 與 thread creation 說明核心如何建立執行單位。

核心執行緒、使用者執行緒、context switch 與 dispatcher|Stanford CS111 第 3 堂

第 3 講沿 running、blocked、ready 狀態轉移,拆解 PCB、context save/restore 與 dispatcher 如何完成一次 CPU 控制權交接。

交錯執行、race condition、atomicity 與 critical section|Stanford CS111 第 4 堂

第 4 講逐步拆解 Too Much Milk 的失敗排程,從具體 interleaving 推導 race condition、atomicity、critical section 與正確同步條件。

mutex、condition variable 與 Mesa semantics|Stanford CS111 第 5 堂

第 5 講用容量為 8 的環形 Pipe 證明:mutex 只提供互斥;condition variable 才能在 predicate 不成立時原子地釋放鎖並阻塞;Mesa semantics 下,wait 返回後必須用 while 重查條件。

關中斷、原子指令、spinlock 與阻塞式 lock 的實作|Stanford CS111 第 6 堂

第 6 講從單核心關中斷一路修到多核心 v5,追蹤 guard、lock 與 wait queue,說明 atomic exchange、spin、block 與 wakeup 如何避免 race 和 lost wakeup。

Deadlock 的四個必要條件與全域鎖順序|Stanford CS111 第 7 堂

第 7 講用 request/ownership graph 拆出 deadlock 的四個必要條件,再比較 detection、prevention 與 lock ranking;實務上最常破壞 circular wait,但代價是所有模組必須遵守同一個全域順序。

FIFO、round robin、priority 與多核心排程|Stanford CS111 第 8 堂

第 8 講從 FIFO、round robin 與不可實作的 SRPT,推到自適應 priority queues、BSD scheduler,再處理多核心 queue contention、core affinity 與 work-conserving 的衝突。

object file、symbol、relocation、static 與 dynamic linking|Stanford CS111 第 9 堂

第 9 講沿著 source→assembly→object→executable→process,拆解 linker 的三次掃描、symbol relocation,以及 dynamic loader 如何用 jump table 把 shared library 位址延後到啟動時解決。

allocator 介面、free list、fragmentation 與 placement policy|Stanford CS111 第 10 堂

第 10 講從 stack 的可預測 LIFO,推到 heap 的 free lists、first/best fit 與 slabs,再比較 reference counting 和 mark-and-sweep 如何在 dangling pointers、leaks、cycles、fragmentation 間取捨。

Storage Reclamation、Reference Counting 與 GC|Stanford CS111 第 11 堂

第 11 講的官方 PDF 與 Lecture 10 逐位元組相同;本文誠實保留此 artifact 缺口,聚焦後半的 reachability、dangling pointers、leaks、reference-count cycles 與 mark/compact GC。

可信任的定義、隔離、驗證與從不信任建立信任|Stanford CS111 第 12 堂

第 12 講把 trust 定義為自願承受 vulnerability,區分 over-trust 與 untrustworthiness,再用 assumption、inference、substitution 分析 Linux TCB、xz attack 與 AI code policy。