安全:收進知識庫的文件,會不會洩漏個資或反過來指揮 AI
收進知識庫的文件可能夾著個資,也可能藏著寫給 AI 的指令;後者已在 Slack AI 和 Microsoft 365 Copilot 上被示範過。只在系統提示叫模型忽略效果很小,比較穩的是入庫時加個資與指令兩道關卡,再限制模型能做的動作。偵測工具都不保證找全,每一層都只是降低風險。
收進知識庫的文件可能夾著個資,也可能藏著寫給 AI 的指令;後者已在 Slack AI 和 Microsoft 365 Copilot 上被示範過。只在系統提示叫模型忽略效果很小,比較穩的是入庫時加個資與指令兩道關卡,再限制模型能做的動作。偵測工具都不保證找全,每一層都只是降低風險。