Transformer、訓練與解碼：三個不同問題｜CMU 10-423 主題單元
同樣一份歷史文字，模型怎麼讀、怎麼學、怎麼抽下一個token，是三個問題。注意力決定資訊如何混合；訓練目標用正確答案改參數；解碼策略在固定模型下選輸出。原本把第2–3堂合在一起，容易讓讀者以為換解碼策略就是換模型。這篇保留主題關係，完整機制與練習分開讀。
#decoding
3 篇文章清大 NLP 導讀 10：同一個模型為什麼會講得呆板或胡言亂語——解碼策略與 NLG 評估｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）解碼與評估單元導讀。前半講模型每一步吐出機率分布之後怎麼選字：greedy 一步錯就回不去，beam search 同時保留幾條候選但偏好短句，top-k／top-p 用抽樣換多樣性（投影片沒寫，教授在課堂口頭補）。後半講怎麼替生成的文字打分：BLEU 的 modified precision 與 brevity penalty、ROUGE-N 與 ROUGE-L、perplexity，以及 GLUE、SQuAD 2.0、MTEB、MMLU 這些 benchmark 各自在量什麼。
NLG 的解碼、生成控制與評估｜台大陳縕儂 深度學習之應用 第 9 堂
ADL Fall 2025 第 9 堂回答兩個問題：模型每一步給出一個機率分布，要怎麼從裡面挑字？挑出來的句子又要怎麼評？講義先用 teacher forcing 與 exposure bias 說明訓練和生成的落差，再依序比較 greedy、beam search、sampling、top-k 與 nucleus sampling，把 temperature 與各種 penalty 歸類為「控制」而不是解碼演算法；評估一半講 BLEU、ROUGE、perplexity 與 LLM-Eval，另一半講為什麼要用 RL 直接對整句的品質做最佳化。