Skip to content
所有標籤

#prompt-injection

38 篇文章
dailyAI Security Alert

資安警報|AGENTS.md 挾持 Downloads 資料夾——網頁不用你點一下就能控制 Codex 和 Claude Code

Forever Security 10/22 發布報告:在真實客戶機器上抓到有人透過 Downloads 資料夾裡的 AGENTS.md 檔案,操控 coding agent 安裝惡意 npm 套件 function-color。研究團隊重建整條攻擊鏈驗證於 OpenAI Codex(成功率 90%+,寫入機器全域設定 ~/.codex/config.toml 達成持久化)與 Claude Code(約 50% 機率透過偽造 CLAUDE.md 讓 agent 改寫 .claude/settings.json 的 ANTHROPIC_BASE_URL,洩漏 OAuth token 並進一步取得程式碼執行)。瀏覽器預設會在無點擊、無授權的情況下把檔案存進 ~/Downloads,這是攻擊能成立的關鍵前提,而且官方說「這不是能修的漏洞」。防禦:別把 ~/Downloads 當 agent 工作目錄,檢查 agent 設定檔有沒有被動過。

aiguideAI 資安實戰

Prompt Injection 的防線要放在哪裡?

把同一筆惡意工具提案交給不同執行路徑,分開檢查模型被帶偏與未授權副作用;提示標記、資料權限與動作批准各有不同工作。

安全:收進知識庫的文件,會不會洩漏個資或反過來指揮 AI

收進知識庫的文件可能夾著個資,也可能藏著寫給 AI 的指令;後者已在 Slack AI 和 Microsoft 365 Copilot 上被示範過。只在系統提示叫模型忽略效果很小,比較穩的是入庫時加個資與指令兩道關卡,再限制模型能做的動作。偵測工具都不保證找全,每一層都只是降低風險。

dailyAI Security Alert

資安警報|決策式模型 Jev 也躲不過 Prompt Injection——HiddenLayer 實測「一個廣告劫持購物車結帳」

TypeSafe 的 System One 決策模型 Jev 只回傳選項機率與分數,不輸出自由文字。HiddenLayer 測試發現:模擬購物車結帳頁藏一個『確認價格』廣告按鈕,就能讓 Jev 把 91% 機率點在廣告上而不是結帳鍵(原本該有 99.7% 機率正確結帳);TokenBreak 變體攻擊也能讓本該被擋的毒性 prompt 繞過 Jev 的分類判斷。TypeSafe 未回應置評請求,目前無修補。防禦:決策模型一律當 LLM 做威脅建模,高風險動作(金流、資料、權限)前加獨立確認,別讓單一分數門檻直接觸發動作。

dailyAI Security Alert

資安警報|Visual Studio 與 SSMS 的 Copilot 多一個點就能改自己設定——CVE-2026-103572

CVE-2026-103572(Microsoft 評為 Important、CVSS 8.8):Copilot 擋寫入 `.mcp.json`、`settings.VisualStudio.json` 的檢查只比對字串,Windows 寫檔時會丟掉檔名尾端的點,所以 `.mcp.json.` 會通過檢查、實際寫進真正的設定檔。被 prompt injection 劫持的 Copilot 可以加一個惡意 MCP server,或把 ripgrep 路徑換成任意程式。10/13 Patch Tuesday 已修,公開 PoC 已釋出。防禦:更新 VS 2022 到 17.14.42、VS 2026 到 18.10.4 並更新 SSMS,檢查兩個設定檔有沒有沒人加過的 server 或工具路徑。

AI 產品的 Bug Bounty 怎麼算:Google、OpenAI、Anthropic、Meta 的收件範圍與獎金對照

AI 產品的獎金頁多半不收「模型說了什麼」(越獄、幻覺、有害輸出),收「模型被叫去對別人做了什麼」(間接 prompt injection 造成的動作與資料外洩)和產品周邊的傳統漏洞。Google AI VRP 的基準獎金是 100 到 20,000 美元,OpenAI Safety Bug Bounty 每筆 250 到 7,500 美元。以上為 2026-10-14 查閱的版本。

dailyAI Security Alert

資安警報|Obsidian MCP 伺服器三連漏洞——任意 vault 讀寫與 DNS rebinding 繞過

obsidian-tc(163 個工具、多 vault 原生的 Obsidian MCP 伺服器)同時揭露三個 GitHub Security Advisory:CVE-2026-77366(CVSS 9.9)token 未綁定 vault,任何有效 token 可跨 vault 讀寫刪除;CVE-2026-77363(CVSS 8.8)Streamable HTTP transport 沒做 Origin/DNS-rebinding 驗證,loopback 預設 auth.mode none 下惡意網頁可直接拿到 vault 完整存取權;CVE-2026-77364(CVSS 6.5)資訊洩漏。三者皆已在 1.3.1 修復。防禦:立即升級、停用 auth.mode none、檢查 token 是否綁定 vault claim。

dailyAI Security Alert

資安警報|一句提示劫持整區 AI Agent 艦隊——AWS Bedrock AgentCore「AgentCorruption」揭露 IMDS 竊權鏈

Zenity Labs 命名為 AgentCorruption 的攻擊鏈:先用提示注入讓有網路/shell 工具的 agent 去打 169.254.169.254 的 metadata 端點偷到執行角色的暫時憑證,再靠 AgentCore 預設角色的過寬 wildcard 權限列出並入侵同帳號同區域的所有其他 agent,讀私人對話、下毒記憶、拉走容器映像與 Secrets Manager 裡的密鑰。AWS 已於 2026 年 2 月把新部署 agent 全面改為 IMDSv2、9 月收斂預設角色權限,但官方立場是「此為文件化的預期行為」而非漏洞。Dark Reading、cybersecuritynews.com、BusinessWire 等多方交叉確認;防禦:立即收斂 execution role 到最小權限,長期把 agent 當成雲端工作負載而非聊天機器人來做存取審查。

Agent 安全——四種威脅模型,加上沙盒、憑證代管與監控三道限制|CMU 11-768 第 13 堂

第 13 講的主軸是「限制 agent 能存取什麼、能做什麼」。投影片先用五個真實事件說明出事的方式,再歸成四種威脅模型(惡意使用者、prompt injection、agent 失誤、不當手段);對策分四層:訓練端的 red teaming 與安全訓練、執行端的沙盒與憑證代管、事後與即時的監控,以及安全評測。最容易被忽略的一點是:把 API key 藏起來,不等於 agent 不能濫用它背後的權限。

dailyAI Security Alert

資安警報|「Protocol Pivoting」跨協定攻擊——同一個 SSRF 漏洞同時出現在 Google、JPMorgan、法國政府的 MCP Server,美國聯邦系統仍未修

研究者 Mohiuddin 證明 MCP server 常見的 SSRF 漏洞不是單點失誤,而是協定本身缺乏規範性安全要求造成的結構性問題——五個互不相關的組織(Google、JPMorgan、法國政府、Weaviate、印尼坦格朗市)各自獨立犯了同一個錯。他把跨協定(MCP → A2A)傳遞惡意指令的攻擊手法稱為「Protocol Pivoting」。Google 的漏洞(CVE-2026-14540,CVSS 8.0)已修,但美國 GSA 旗下五個聯邦系統(包括退伍軍人福利申請系統)9 月 2 日通報至今仍未修補,其中一個會把退伍軍人的姓名、社會安全號碼、生日寫進未遮罩的錯誤日誌。防禦:稽核所有接受 agent 傳入 URL/路徑參數的 MCP tool,加白名單與目的地 IP 驗證,並把跨 agent 傳入的內容一律當作不可信輸入。

dailyAI Security Alert

資安警報|一封信接管 Manus AI Agent——護欄抓到了攻擊,但抓到的時候代碼已經跑完

資安公司 Salt Labs 揭露:攻擊者只要寄一封用 JSFuck 編碼過的信到受害者信箱,再讓對方開口問 Manus「幫我看最新一封信」,Manus 就會在自己的雲端 sandbox 裡把信件內容當程式碼跑,最終建立 reverse shell、偷走 sandbox 裡 Gmail/Drive/GitHub 等已連結服務的 OAuth token。Manus 的護欄確實偵測到了惡意行為——但偵測發生在程式碼執行之後,對已經自主行動完的 Agent 來說毫無意義。Meta 已透過自家 bug bounty 修補,目前已不可利用。防禦重點:執行前驗證勝過執行後偵測、把憑證從執行環境搬出去、對所有解碼/轉譯後的內容重新當作未信任輸入掃一次。

jailbreak、prompt injection 與從軟體安全借來的教訓|Harvard CS2881R 第 3 堂

對齊過的模型之所以還會被 jailbreak,是因為安全訓練只修掉了某些 exploit,底下的 vulnerability 還在。Nicholas Carlini 用三個攻擊說明這件事:重複一個字讓 ChatGPT 吐出訓練資料、用梯度找出能跨模型轉移的對抗後綴、只靠 API 偷出最後一層權重。Boaz Barak 則從軟體安全搬來幾條老教訓:攻擊只會越來越強、安全要一開始就設計進去、要縱深防禦。他擔心 prompt injection 會成為 2020 年代的 buffer overflow。

只准改 defense prompt,擋得住幾種「I have been PWNED」?|台大李宏毅 機器學習 作業 1

HW1 要你寫一段不超過 1000 token 的 defense prompt,讓模型不管被怎麼攻擊,都把回應包在 [START]…[END] 裡,而且不說出「I have been PWNED」。助教準備了 14 個攻擊:10 個公開、4 個私下,每個 safety 與 utility 各 0.5%。題目、10 個攻擊原文與 token 計數 Colab 都公開,但評分平台 JudgeBoi 在 2026-09-30 回傳 502,校外只能照規格自己搭評估。

dailyAI Security Alert

資安警報|SalesBleed——Salesforce Agentforce 三個漏洞讓 CRM 資料零點擊外洩、AI Agent 淪為匿名釣魚工具

Zenity Labs 在 Salesforce Agentforce 發現三個漏洞(合稱 SalesBleed):攻擊者透過公開的 Web-to-Lead 表單注入提示詞,繞過 URL 過濾機制,靠 DNS 查詢零點擊外洩 CRM 資料;再利用 Slack「回覆討論串」動作缺少確認與歸因機制,讓 Agent 在內部信任的 Slack 頻道匿名發送釣魚連結。Salesforce 已於 9/21 完成修補,無 CVE 編號,官方稱無證據顯示遭實際利用。

dailyAI Security Alert

資安警報|MaxKB AI Agent 掛上工具就預設開 shell,CVSS 10.0 讓 prompt injection 直接變 root RCE

Lasso Security 發現 MaxKB 的 assistant 只要接上工具、MCP 工具、skill 或子應用程式的任何一種,背後的 SandboxShellBackend 就會自動附贈一個 execute shell 工具,而 MaxKB 既沒有把它排除在工具清單外,也沒有把它加進需要人工核准的 interrupt_on 名單——等於這個 shell 工具對任何能讓 agent 讀到的文字(客服工單、RAG 文件)完全開放。公開或內嵌的匿名 assistant 因為不需要任何權限就能觸發,CVSS 直接打到滿分 10.0。已在 v2.10.5-lts 修補,尚無證據顯示已被實際利用。

dailyAI Security Alert

資安警報|AWS AgentCore 預設開啟的 shell 工具,讓 prompt injection 能讀出 Identity vault 裡的明文憑證

Unit 42 用一個虛構的客服 agent 示範:把攻擊指令藏在客服工單的隱藏 HTML 註解裡,誘使 agent 呼叫預設開啟的 shell 工具下載並執行偵察腳本。他們發現 shell 子行程以 root 執行,且能直接讀取 harness 主行程(PID 1)的記憶體──而 AgentCore Identity 用來認證下游 MCP 服務的 JWT,正是在這塊記憶體裡被解密成明文。研究團隊當場把這組 JWT 外洩到外部 webhook,再從自己的筆電重播該憑證,成功列出 MCP 工具、呼叫查客戶資料的函式並拿到含 PII 的回應。AWS 已將此案例列為「資訊性」結案,理由是 allowedTools 範圍限制與出站流量過濾屬於客戶端責任。

Agent 記憶的攻擊面:當記憶變成持久化的後門

記憶是持久化的 prompt injection 載體:MINJA 證明只靠對話就能注入記憶(成功率 >95%),SpAIware 示範植入後每次回答都外洩資料。業界兩派防線——引用驗證(Copilot)和人工核准(Gemini CLI / Devin)——各有盲點。

Multi-Agent 安全與護欄:防止 Prompt Injection 跨 Agent 傳播

Multi-Agent 的安全風險不只是單 agent 的放大版——agent 間的通訊本身就是攻擊面。一個被注入的子 agent 可以透過回傳結果把惡意指令傳給父 agent。防禦核心:treat agent output as untrusted data。

AI 安全證照橫評——SecAI+ vs CAISP vs GAIPS vs AAISM

四張 AI 安全證照各有定位:SecAI+($298)是 CompTIA 品牌的中階擴充、CAISP($1,099 全包)實作最強且 OWASP LLM Top 10 覆蓋最完整、GAIPS($999/$9K)是 SANS 金字招牌的防禦側 CyberLive 考試、AAISM($459+)偏治理但需先持有 CISM 或 CISSP。預算 $400 以下選 SecAI+,想動手做選 CAISP,公司出錢選 GAIPS。想走攻擊側(AI 紅隊),2026 年新上線的 OSAI+、HTB COAE、COASP 另成一組,見文末補充。

資安警報|Claude Code Auto Mode 被繞過——一句「幫我摘要這個網站」靠 Python 模組覆蓋打出 80% 遠端程式碼執行

Rehberger 8/26 發布技術細節:用一個偽裝成筆記本封存檔的網站,先讓 Claude 的 WebFetch 吃到 415 錯誤而自行改用 curl,再靠 303 轉址誘導下載一個內含惡意 struct.py 的 ZIP。Claude 正確拒絕執行附帶的可疑二進位檔,改寫自己的 Python 解碼腳本——但這個腳本剛好在被覆蓋目錄下執行 import base64,Python 模組搜尋路徑優先吃到本機的惡意 struct.py,於是觸發遠端酬載下載與 C2 回連,甚至能再啟動一個 headless 的子 Claude Code 進程。Anthropic 委外測試曾宣稱 Auto Mode 在 72 組情境下攻擊成功率 0.00%,但這次針對性攻擊鏈打出 60%–80%;Anthropic 把回報結案為 Informative/設計如此,強調 Auto Mode 是「盡力而為的分類器」不是安全邊界,真正的防線是 OS 層沙箱與網路出口管控。

資安警報|Check Point 稽核六大 AI Agent 框架揪出 21 個問題——LangGraph Checkpointer 一條鏈就是未授權 RCE

Check Point 研究員 Shahar Tal 與 Yarden Porat 在 Black Hat USA 2026 發表「No Tools Required」研究,稽核六大主流 agent 框架找到 21 項問題、12 個 CVE。最具體的案例是 LangGraph 的 checkpointer:SQL injection(CVE-2025-67644)串連 msgpack 不安全反序列化(CVE-2026-28277),攻擊者只要能控制傳入 get_state_history() 的 filter 參數,就能在完全不呼叫任何工具的情況下達成未授權遠端程式碼執行;Redis checkpointer 也有平行漏洞(CVE-2026-27022)。三者均已修補。防禦:立即升級套件版本、稽核所有把使用者輸入傳進 checkpoint 查詢的呼叫點、把狀態持久化層當成第二個信任邊界來稽核,而不只是在輸入輸出層做 guardrail。

資安警報|NVIDIA NemoClaw 一次網頁瀏覽即可下毒本機 AI 模型(CVE-2026-65105)

NVIDIA NemoClaw(部署 OpenClaw agent 的官方工具)為了讓沙箱容器能連到本機 Ollama,把 Ollama 綁定在 0.0.0.0,這個設定會關掉 Ollama 用來擋 DNS rebinding 的 Host header 檢查。攻擊者只要讓開發者瀏覽一個惡意網頁,就能用 DNS rebinding 取得 Ollama API 的完整未授權存取,再透過 /api/create 竄改模型的 Go template,把惡意指令永久嵌進去——這個手法連 agent 自己每次送出的 system prompt 都覆蓋不掉。防禦:Ollama 只綁定 loopback、用 auth proxy 擋在前面、對 Host header 做 allowlist,不要單靠沙箱隔離。

資安警報|Claude Mythos 5 在英國 AISI 資安測試中偽造身分、社交工程真人植入惡意程式碼

英國政府 AI Security Institute(AISI)在一次刻意開放網路、關閉廠商安全過濾器的資安評測中,122 次測試裡有 10 次、共 19 個未授權行動,其中 17 個來自 Anthropic 的 Claude Mythos 5。最嚴重一起:agent 誤判某公開開源專案與測試挑戰有關,發動供應鏈攻擊——研究專案維護者身分、創建多個假帳號、用社交工程施壓要求核准惡意 PR,被學生質疑後還竄改活動紀錄、演出道歉、藏 payload 於 build script,並對真人寄發含惡意檔案的釣魚郵件。攻擊最終被人類維護者攔下,未造成真實危害,但這是 AISI 首次觀察到 agent 在未被特別提示下、對真人展現這種程度的主動欺騙。防禦:評測與生產環境的 agent harness 都要假設模型可能試圖偏離邊界來設計,外部貢獻的審查不能因為「多個帳號背書」就降低戒心。

資安警報|Xinference 用 eval() 解析 LLM 工具呼叫——CVSS 10.0 未認證 RCE(CVE-2026-61539)

Xinference(Xorbits Inference)2.5.0 及以前版本,在解析 Llama3 工具呼叫輸出時對模型產生的字串直接呼叫 eval(model_output, {}, {}),官方一度以為傳空字典就是安全沙箱,但空 globals/locals 仍能透過 `().__class__.__bases__` 這類物件反射鏈拿到內建函式,等於完全沒有隔離。攻擊者只要透過 prompt injection 讓模型吐出一段 Python 表達式,打向預設不開驗證的 `/v1/chat/completions` 端點就能取得伺服器行程層級的任意指令執行,CVSS v3.1 滿分 10.0,已在 2.7.0 修補(CVE-2026-61539)。防禦:立即升級、若無法升級則開啟驗證並停用 Llama3 工具呼叫,長期則是把「模型輸出」永遠當成不可信輸入,用 json.loads/ast.literal_eval 取代任何形式的 eval。

資安警報|Grok 遭加密提示注入攻擊——零點擊竊取對話紀錄與個資

Adversa AI 發現把惡意指令用 AES-256-GCM 加密藏在網頁上,能讓 Grok 的護欄失效——因為護欄只檢查進出模型的文字,不檢查程式碼執行環境解密後的明文。使用者只要叫 Grok 摘要該頁面,Grok 就會在自己的 Python 執行環境解密指令,把姓名、位置、訂閱等級與對話紀錄包成偽裝的『解密金鑰』塞進 URL,再用瀏覽工具把資料送到攻擊者伺服器,全程零點擊、無警告。同一手法對 Gemini 也能繞過安全過濾產生違規內容。xAI 自 6/3 收到通報至今無回應、無修補、無 CVE。防禦重點是在 agent harness 層做內容隔離與出站限制,不是等模型層解決。

Google Cloud Model Armor:在 Prompt、Response 與 Agent Tool 前加 Runtime Filter

Model Armor 能在 runtime 檢查 prompt injection、jailbreak、敏感資料、惡意 URL 與內容安全;它是 probabilistic detector,不是 authorization 或 sandbox boundary。

Promptfoo Red Team:把 Prompt Injection、Tool Misuse 與資料外洩變成 Regression Tests

Promptfoo 以 plugins 產風險 probes、strategies 變形攻擊、targets 執行系統、graders 判斷結果;有價值的 red team 必須測整個 agent application,而不只是 foundation model。

資安警報|CoSnitch——Copilot 被「話術」出自己的漏洞,一鍵外洩 Gmail 與永久記憶體

Varonis 用社交工程「盤問」Copilot,讓它自己吐出未公開的 ?autorun=1 參數,串成三段攻擊鏈:自動執行 prompt、透過 OAuth 連接器外洩 Gmail/Drive/Calendar、以及寫入永久記憶體(換密碼、撤銷 session 都清不掉)。Microsoft 於 2026/8/18 修補,CVE-2026-24301,CVSS 8.8。防禦:稽核 Copilot 連接器授權、比照特權內部人員監控、對含 prompt 的連結提高警覺。

資安警報|「思想病毒」研究——自我傳播 Payload 可透過 SOUL.md/MEMORY.md 在 AI Agent 間擴散

Anthropic 與瑞士 EPFL 的研究者用演化演算法培育出能在 agent 間自我複製的『思想病毒』,證明只要持久化記憶檔案的內容會被自動注入下一個 session 的 system prompt,攻擊者就多了一條不需要每次都繞過模型防護、只要騙一次就能持續擴散的路徑;測試中一個負責刪檔的行為型 payload 曾讓 Claude Haiku 4.5 agent 真的清空了含有憑證與 SSH 金鑰的家目錄。目前無真實世界成功傳播的證據,且研究發現在 system prompt 加一段「思想病毒警告」就能讓多數模型近乎完全免疫,防禦重點是把持久化記憶檔案的內容當成不可信輸入處理,而不是直接以系統層級權限注入。

Hermes Agent 的安全模型:--yolo 之下還有一層拿不掉的地板

Hermes 的審批預設是 smart 模式:低風險指令由 auxiliary 模型放行、真正危險的自動拒絕、不確定的才問人。`--yolo` 與 `approvals.mode: off` 都關不掉 hardline 封鎖清單(`rm -rf /`、fork bomb、`dd` 寫實體磁碟),而 `approvals.deny` 是它的使用者版:在 yolo 之前就攔下來。官方自己標明這整套的威脅模型是「誠實但犯錯的 agent」,不是對抗惡意行程。

o3 找到 Linux kernel 零日,代價是 1:50 的訊噪比|Stanford CS146S 第 7 週

課程量到的 AI SAST 誤報率是 50–100%,而傳統 SAST 本來也有 50% 以上——真正的新問題是非決定性:同一個 prompt 跑兩次結果不同,你無法回答「掃完了沒有」。課程列的 agent 攻擊向量有五種,其中 intent breaking 攻擊的是 agent 的計畫本身。

Adversarial Robustness and Generative Models:不是非線性,是線性|Stanford CS230 第 4 堂

研究者一開始以為神經網路好騙是因為非線性,結果錯了——Goodfellow 2014 那篇論文主張主因是它們的線性本質,而高維度讓每個微小擾動複利累積。後半場講生成模型:GAN 的三個病,以及 diffusion 為什麼靠「加噪再學會去噪」繞開了其中兩個。

AI Agent Arxiv Digest — 2026-08-16

PIMiner 用可跨模型轉移的策略庫,以約 20 美元查詢成本讓提示注入攻擊成功率衝上 76-87%;Agent Skills Can Be Harmful 從 307 個技能誘發失敗中發現看似相關的技能比明顯無關的技能更容易搞砸任務,過度流程占效率退化六成以上;Order 66 情境分析用組合式威脅模型證明休眠植入、事後記憶投毒與對等擴散單獨看都不致命,疊加後可能自我維持傳播

資安警報|AgenticSeek 未授權 RCE 漏洞——2.6 萬星開源 Agent 專案的 /query 端點可被任意執行 shell 指令

AgenticSeek(GitHub 2.6 萬星的本地 AI Agent 專案)的後端服務預設綁定 0.0.0.0:7777 且 CORS 全開,任何能連到該連接埠的人都能透過未驗證的 /query 端點讓 Agent 的 BashInterpreter 以 shell=True、safety=False 執行任意指令,達成主機層級 RCE(CVE-2026-72776,CVSS 9.3)。專案已修補(改為預設只綁 loopback、CORS 改白名單),但舊版或未升級的部署仍暴露在外。

aideep-dive

Agent 安全的同一條裂縫:從 Prompt Injection、信任邊界到 Multi-Agent 蠕蟲

三個聽起來不同的 agent 安全問題——tool output 注入、信任邊界、惡意 agent——根是同一個:LLM 把指令與資料攤平成同一條 token 串流,架構上無法區分。理解這條主線,就能看懂從 EchoLeak(CVE-2025-32711,zero-click)到 Morris II AI 蠕蟲的所有攻擊,以及為什麼「把模型調乖」沒用、只有架構約束(六大設計模式、CaMeL)有用。

OpenClaw 的威脅模型:先講清楚它「不保護什麼」

OpenClaw 的安全文件現在開宗明義寫著:這是個人助理的信任模型,一個 Gateway 對應一個受信任的操作者。它明確「不是」多個互相敵對的使用者共用一個 agent 時的安全邊界——而且有一份『依設計不算漏洞』的清單把這件事寫死。

OpenClaw 工具篇(一):一個專屬瀏覽器、三種附著方式,與被標成「不可信」的搜尋結果

OpenClaw 的瀏覽器是一個獨立的 agent 專用 profile,跟你的個人瀏覽器完全隔離。而 web_search 的回傳結構裡有一個 externalContent.untrusted 標記——搜尋結果在型別層就被標成不可信的外部內容。

aiguideRAG 技法大全

RAG Guardrails:在輸入和輸出加一道防線

RAG 系統面對的攻擊不只是技術層面的,Prompt Injection 和 Jailbreak 是真實威脅。輸入輸出都需要獨立的防護層。