CNN 與 ViT：一張圖怎麼變成模型的輸入｜CMU 10-423 第 5 堂
語言模型先把文字變成 token，影像模型也需要把畫素整理成可運算的表示。
#bert
7 篇文章清大 NLP 導讀 8：ELMo、BERT、T5、BART、GPT——預訓練的三條路｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）BERT and its Family 單元導讀。起點是「I record the record」：Word2Vec 和 GloVe 給兩個 record 同一個向量。ELMo 用雙向 LSTM 語言模型解決這件事。換成 Transformer 之後，預訓練分成三條路：encoder（BERT：MLM＋NSP，擅長理解、不擅長生成）、encoder-decoder（T5 的 span corruption、BART 的五種雜訊）、decoder（GPT：純粹預測下一個字）。最後一段是 GPT-3 的 in-context learning 和 scaling laws，也說明 decoder 為什麼成了現在最主流的骨幹。
清大 NLP 導讀 9：一個 BERT 同時打分數又判蘊含——Hugging Face 助教課與 HW3 多輸出學習｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）Hugging Face BERT 助教課與 HW3 導讀。助教課用 IMDb 影評二元分類走一遍 AutoTokenizer、input_ids／token_type_ids／attention_mask、AutoModelForSequenceClassification 與 Trainer。HW3 把工具拿去做 SemEval 2014 Task 1：同一個 bert-base-uncased 接兩個頭，一個回歸 1–5 分的 relatedness，一個做三類 entailment 分類，兩個 loss 加總後自己寫訓練迴圈，不准用 Trainer。
Tokenization 與 BERT：詞怎麼切、怎麼得到看上下文的表示｜台大陳縕儂 深度學習之應用 第 5 堂
這一堂有兩半。前半講 tokenization：用整個詞當單位，沒看過的詞只能變成 UNK；用字元當單位，意思又組不回來。折衷是 subword，常用的切法是 BPE：從字元開始，反覆把最常相鄰的一對合併。後半講 BERT：靜態詞向量給 apple 只有一個向量，分不出水果和公司。ELMo 用語言模型產生看上下文的表示，BERT 把 LSTM 換成 Transformer，用遮住 15% token 再填回來的 masked LM 與 next sentence prediction 預訓練，再把整個模型微調到下游任務。
中文抽取式問答：從四段文字裡找出答案 span｜台大陳縕儂 深度學習之應用 作業 1
ADL Fall 2025 的 HW1 給一個問題和四段中文文字，要模型先挑出相關的那一段（paragraph selection，當成四選一的 multiple choice），再在那段裡標出答案的起點和終點（span selection），用 Exact Match 評分。規格投影片直接指定改 HuggingFace 的 run_swag_no_trainer.py 與 run_qa_no_trainer.py，simple baseline 用 bert-base-chinese、長度 512、有效 batch size 2、learning rate 3e-5，在 8GB 的 RTX 3070 上兩段加起來不到三小時。Kaggle 排行榜 9/29 截止、程式與報告 10/1 交到 NTU COOL。校外讀者拿不到 Kaggle 資料與評分，但任務設計、baseline 設定和報告五題都能照著練。
同一台 Transformer，怎麼長出 BERT、GPT 和各種 attention 變體｜Stanford CME295 第 2 堂
CME295 第 2 講把原始 Transformer 拆開改裝：位置資訊從「加在 embedding 上」一路改到 RoPE「在 attention 裡旋轉 Q 和 K」；attention 用 sliding window 和 MQA/GQA 省成本；再把模型分成 encoder-only、encoder-decoder、decoder-only 三家，花後半堂拆解 BERT 的 MLM（15% token）與 NSP 預訓練。2026 版把這些併進「Large Language Models」一講，BERT 不再是課表項目。
Language——N-gram、Parser、Attention 與 Transformer｜Harvard CS50 AI 第 6 週
第 6 週講電腦怎麼處理自然語言：先用 context-free grammar 手寫規則剖析句子，再改用統計，從 n-gram、Markov chain 生成文字到用 Naive Bayes 判斷評論的正負；接著用 word2vec 把詞變成向量，用 RNN 的 encoder–decoder 處理整個序列，最後是 attention 與 Transformer。附逐段時間連結，以及 Parser、Attention 兩個專案的解題思路、容易出錯的地方與檢查方式。