Skip to content
所有標籤

#dspy

12 篇文章

框架更新|DSPy 3.4.1

DSPy 3.4.1 兩大重點:(1) dspy.RLM 的沙箱程式碼現在能 import dspy 建立 Predict / ChainOfThought / ReActV2 / 巢狀 RLM 子代理,共用同一個 max_llm_calls 預算;(2) GEPA 預設改用結構化 InstructionProposer。Breaking:GEPA 相同 seed 結果可能跟 3.4.0 不同、reflection_lm 必須是 dspy.LM、ReActV2 不能再宣告 history/tools 輸入欄位、dspy.predict.flex.bridge 的 import 路徑失效、3.4.0 存的 null Score criteria 程式無法載入。

台大李宏毅 ML 2026 導讀:AI 自我成長(下)——改進 harness、改進「改進的方法」,以及會不會失控|台大李宏毅 機器學習 主題單元

上集講的是 AI 自己訂 loss、自己更新參數;下集把另一半補上:AI Agent = Harness + LLM,harness 也能自己長。harness 沒辦法算 gradient,所以常見做法是拿一個語言模型當改寫器,再用類似基因演算法的 pool 保留多個候選(OPRO、GEPA、Darwin Gödel Machine,現成工具是 DSPy)。接著談三個延伸:harness 與參數一起更新效果更好;目標會變時要在「全部丟掉」和「全部背著」之間取捨,而且改 harness 也會遺忘;更新規則本身也能被更新(HyperAgent、Gödel Agent、SEAL),這就是 meta learning。最後李宏毅換了一個類比:參數是基因、context 才是神經元,然後指出現在的 agent 缺的是內在動機,而最可能讓成長失控的,是人給的目標和 AI 自己解讀出來的目標不一致。

用 DSPy 做少樣本 OpenQA|Stanford CS224U 作業 2

CS224U 作業二 hw_openqa.ipynb 要你只用凍結的語言模型與凍結的 ColBERT 檢索器回答沒有附原文段落的問題。2023 春季版寫的是 DSP,repo 現行版在 2024 年 1 月改成 DSPy 並釘在 dspy-ai==2.4.13。開工前得先準備 OpenAI API key、約 406 MB 的 ColBERTv2 權重與 600 MB 的預建索引;而 notebook 第一行 dspy.OpenAI 在 DSPy 3.4 已經不存在。

起源、核心概念與建議做法|Stanford CS224U 主題單元

CS224U 2023 春季版把 in-context learning 定義成「凍結的語言模型只靠 prompt 完成任務」,並提醒 few-shot 的第二個條件(訓練時沒看過同類例子)幾乎無法驗證。Potts 的 38 頁投影片從 GPT-2 的 TL;DR 講到 demonstration 怎麼挑、chain of thought、self-consistency、DSP,最後給四條建議:先建 dev/test、了解目標模型的指令格式、把寫 prompt 當成 AI 系統設計。Mina Lee 的客座則反過來問:該學會讀懂 prompt 的,是人還是模型?

框架拆開看:DSPy、LangGraph 與 harness 的差距|Stanford CS329Z 第 5 堂

Lecture 05 以資料、系統、評估三根支柱看 agent 工程,現場示範 DSPy 與 LangGraph,再比較開源 harness、Temporal 的 durable orchestration 與觀測工具。指定讀物 DSPy 把 prompt 模板變成可依 metric 優化的程式。

改 prompt、改權重,還是想久一點:agent 優化三軸|Stanford CS329Z 第 9 堂

Lecture 09 先問優化何時划算,再比較 context 優化(few-shot bootstrapping、MIPROv2、OPRO、TextGrad、GEPA)、權重優化(SFT、PPO、GRPO、on-policy distillation)與讓 agent 當優化器。讀物涵蓋 test-time compute、GEPA、BetterTogether 與 MIPRO,最後收斂成 HW1 交卷前的三件事。

請模型當裁判:grader 選擇、裁判偏誤與校準|Stanford CS329Z 第 14 堂

第 14 堂依課表談三種 grader、judge prompt 設計、已知偏誤、pairwise 與 pointwise、pass@k 與 pass^k 等非確定性指標、harness 設計與 Anthropic 的八步路線圖。讀物從 Demystifying Evals、MT-Bench 讀到 AutoMetrics 與 AutoLibra。

複合式 AI 系統:模型、資料與工具如何配合|Stanford CS329Z 第 1 堂

先從第一堂投影片理解 agent 迴圈、元件與工程問題,再分別深讀 BAIR 的複合系統觀點、Ng 的工作模式,以及 Si 的執行回饋實驗;清楚區分課堂主線、指定閱讀與延伸閱讀。

aideep-dive

2026 Agent 框架怎麼選:LangGraph、CrewAI、MAF、AG2、Mastra、Pydantic AI、DSPy

七套工具不是同一類產品:LangGraph、MAF 與 Mastra偏耐久工作流,CrewAI 與 AG2 偏多 agent 協作,Pydantic AI 偏型別化 Python agent,DSPy 則用資料與 metric 最佳化整個 AI 程式。先選控制模型,再選框架。

aideep-dive

DSPy:用 Signature、Metric 與 Optimizer 編譯 AI 程式

DSPy 不把 prompt 當手寫字串,而以 Signature 宣告任務、Module 決定執行策略,再用資料集與 metric 讓 Optimizer 編譯出較好的提示與示例。

自然語言理解:接在 CS224N 之後補了什麼|Stanford CS224U 課程總覽

CS224U 是 Stanford 的自然語言理解課,接在 CS224N 之後:教情感分析的領域適應、檢索增強的 in-context learning、進階行為評估與模型分析方法,三份作業各附一場 bake-off。教材是一個公開的 GitHub repo,投影片與線上版的全套錄影也公開;第一份作業的資料載入在新環境要自己修正才跑得起來。

AI Agent 工程:不靠框架,從一個 chat-completion 呼叫做出 agent harness|Stanford CS329Z 課程總覽

CS329Z 是 Stanford 的 AI agent 工程課:先不靠框架手刻 RAG、工具呼叫與 agent 迴圈,再看 DSPy 這類框架抽掉了什麼,兩份作業分別是做 agent harness 與設計 agent 評估。課綱、指定閱讀、前十一堂投影片與第一份作業的起始碼、資料和公開測試都拿得到;錄影要以選課身分登入 Canvas。