Dots Studio Dots：長上下文 MoE、多模態與工具工作流
Dots3-Note Preview 的 OpenRouter 頁列出長上下文、圖片輸入與工具呼叫；自架授權仍須取得可確認的官方資料。
#long-context
11 篇文章Liquid AI LFM：裝置端推理與 Agent 工作流
LFM2.5-2.6B 是裝置端 hybrid 推理模型；官方權重與 OpenRouter 端點的上下文限制不同，部署前也要核對授權與資料條款。
長上下文與SSM：保留歷史的兩種取捨｜CMU 10-423 主題單元
長上下文問模型能否處理、找到並使用很久以前的資訊；SSM問如何用狀態更新處理序列。SSM的效率不能直接證明長文件檢索可靠，attention的長窗口也不能直接證明重要資訊一定被使用。第19與21堂因此各自有獨立教學。
現代 Transformer：位置旋轉與 KV 共享改了甚麼｜CMU 10-423 第 4 堂
第 2 堂的 attention 知道如何比對內容，但實際語言模型還需要順序資訊，也要承受生成時的記憶體成本。
長上下文 LLM——上下文拉長時，先爆的是 KV cache｜MIT 6.5940 第 15 堂
第 15 講分四段。延長上下文：RoPE 內插可以把 LLaMA 從 2k 拉到 32k，LongLoRA 用 shifted sparse attention 讓長上下文微調變便宜。評估：lost-in-the-middle、Needle-in-a-Haystack 與 LongBench。高效 attention：KV cache 隨長度線性長大，StreamingLLM 發現開頭幾個 token 是 attention sink，保留它們加上最近視窗就能穩定生成；DuoAttention 只讓少數 retrieval head 保留完整 KV cache；Quest 保留全部 KV、依 query 只讀最關鍵的幾頁。最後一段跳出 Transformer：Mamba 用選擇性 SSM 取代 attention，Jamba 把兩者混在一起。
台大李宏毅 ML 2026 導讀：Positional Embedding——模型怎麼知道順序、怎麼吃超長輸入｜台大李宏毅 機器學習 主題單元
Self-attention 本身看不出「你打我」和「我打你」的差別，所以要另外告訴它位置。李宏毅這一講從 Sinusoidal 絕對位置講到 ALiBi、T5 的相對位置，再到今天 Llama、Qwen、Gemma 都在用的 RoPE。後半段處理「訓練短、測試長」：RoPE 轉到沒看過的角度就會壞，於是有 Position Interpolation、NTK-Aware、YaRN、Dynamic Scaling、LongRoPE 這一串修法。最後一個轉折是 NoPE：decoder-only 的因果注意力本來就帶有位置資訊，甚至可以在訓練後把位置編碼拿掉。
長 context agent 怎麼管記憶體——混合注意力、RoPE 外推、prompt cache 與 compaction｜CMU 11-768 第 3 堂
Agent 每一步都把整段歷史重新送進模型，五次呼叫就累積 80K token 的輸入；OpenHands 的 1,500 個 session 平均 7.8 萬 token，其中 37% 是工具結果。Neubig 分兩層處理：模型層靠「多層局部 + 一層全域」的混合注意力與長度課程撐起百萬 context；harness 層靠穩定前綴吃到便宜約十倍的 cache，再用保留錨點、外存證據的 compaction 撐過上限，而且 compaction 要用接續任務來評。
Kimi——從 200K 長文本工具到 2.8T 開源前沿，以及 K3 的架構躍進
Kimi 是月之暗面（Moonshot AI）推出的 LLM 家族，以超長 context 起家。2026 年 7 月發布的 Kimi K3 是全球首個開源 3T 級模型——2.8T 參數、104B 活躍、1M context，在 Artificial Analysis Intelligence Index 得分 60 與 GLM-5.3 並列開源第一。其 Kimi Delta Attention 架構帶來 2.5 倍 scaling 效率提升。
SLIDERS 如何用自動 schema 分析一整組長文件｜Stanford CS224V 第 8 堂
SLIDERS 不讓模型直接吞完所有長文件，而是從問題誘導 schema、做語意切塊與情境化擷取、協調重複列，再用 SUQL 查詢產生答案。
DeepSeek-OCR：把長上下文壓成圖片的 10× 壓縮實驗
DeepSeek-OCR 的論文題目是 Contexts Optical Compression — OCR 只是手段，真正驗證的是『把文字渲染成圖片再餵給 VLM』能達到 10× 壓縮且 97% 精度。這對長上下文 LLM 與 RAG 的 token 成本是質變。
LongRAG：用長上下文模型重新思考 RAG 的 Chunking 策略
傳統 RAG 把文件切成小 chunks 再檢索，但這造成資訊碎片化。LongRAG 利用 100K+ token 的長上下文模型，檢索更大的文件區段（整個章節甚至整份文件），減少碎片化同時保持檢索效率。