AI Agent 安全是什麼？Prompt Injection、間接提示注入與紅隊測試解析

重點摘要

• 美國政府對 AI 模型 Mythos 與 Fable 發出出口管制令後，越獄（jailbreak）與間接提示注入（indirect prompt injection）從學術圈議題躍升為主流安全討論的核心。
• OpenAI 安全委員會董事 Zico Kolter 與卡內基美隆大學教授、Gray Swan CEO Matt Fredrikson 指出，frontier 模型規模愈大並不自動帶來更高安全性，專用紅隊模型已能在破解任務上勝過人類。
• Gray Swan 的防守工具組包含自動化紅隊工具 Shade、護欄產品 Cygnal 及目前規模最大的 AI 紅隊競技場（AIRT），但兩位創辦人坦承這些工具只是在推遲、而非消除風險。

2026 年 6 月 22 日，AI 工程師媒體 Latent Space 發布了一集對談，邀請 Gray Swan 聯合創始人 Zico Kolter 與 Matt Fredrikson 公開說明 AI 紅隊（red teaming）現況。觸媒是美國政府對 AI 模型 Mythos 與 Fable 發出的出口管制令。Zico Kolter 是 OpenAI 安全委員會的董事，Matt Fredrikson 是卡內基美隆大學（CMU）教授，兩人共同撰寫了間接提示注入這個領域的指標性論文。Gray Swan 也被 Mythos 的模型卡（model card）列為授權調查機構，直接評估了那些正在被審查的能力。這讓他們的說法不是旁觀者的技術評論，而是帶有第一手現場座標的紀錄。

但這集訪談真正值得深入的，不是出口管制政治本身，而是兩人提出的一個更基礎的命題：AI 安全不是「資安加上 AI 工具」，而是一個全新的攻擊類別，需要完全不同的威脅模型。

Agent 為何製造出傳統資安看不見的攻擊面？

傳統資安的威脅模型建立在一個前提上：系統有清楚的信任邊界，攻擊者從外部試圖穿越，你控制輸入、信任自己的程式碼，問題在於如何阻止惡意外部輸入越界。

AI agent 把這個前提拆掉了。現代 agent 的核心設計邏輯是讀取外部內容，包括網頁、電子郵件、文件，把那些內容當作上下文（context），再根據上下文採取行動，例如呼叫 API、寫入資料庫、傳送訊息。問題在這裡浮現：agent 無法可靠地區分「這段文字是資料」和「這段文字是指令」。若攻擊者把惡意指令藏進 agent 稍後會讀到的外部內容，像是一封電子郵件內嵌的一段字串，agent 讀到後很可能照指令執行，使用者全程不知情。這就是間接提示注入（indirect prompt injection）的核心機制：攻擊者不直接向系統下指令，而是讓 agent 把被污染的外部內容當作指令來源。

Datasette 與 LLM 開源工具作者 Simon Willison 把這類結構稱為致命三角（Lethal Trifecta），Gray Swan 的整套防守工具組正是圍繞這個框架設計的。問題的深層矛盾在於，讓 agent 容易被利用的那些條件，恰好和讓 agent 有用的條件完全重疊：你希望它能讀郵件、能幫你訂票、能有你的帳號授權。讓 agent 更有能力，同時讓它在這個攻擊框架下更容易被操縱。這個矛盾目前沒有簡單解法，因為它埋在 agent 的設計邏輯裡，不是可以用一個補丁（patch）修掉的漏洞。

Frontier 模型愈大，為什麼不一定愈安全？

這是訪談最反直覺的論點。一般預期是模型愈大、對齊（alignment）訓練愈精細，越獄就愈難成功。Zico Kolter 與 Matt Fredrikson 的看法走向另一個方向：規模帶來的能力提升是對稱的，模型更能理解有益的指令，同時也更能理解複雜的攻擊向量；對齊訓練縮小了預設行為空間，但沒有封死那個空間。

紅隊工作的規模問題讓這個困境更清楚。傳統安全紅隊靠人工：找一批研究員想辦法讓模型說出不該說的話。這個做法在速度和覆蓋面上都跟不上：人能想到的攻擊手法有限，工作時數有限，每次模型更新後，上一輪找到的漏洞很可能已被修補，需要從頭探索。訪談中提到，Gray Swan 訓練了專用紅隊模型 Shade，讓它系統性地探索攻擊空間，而這類專用紅隊模型已能在破解任務上勝過人類。

這意味著攻守之間的不對稱性加深了。防守方需要把所有路徑都封住；攻擊方只需要找到一條有效路徑。當攻擊工具本身也被 AI 加速，防守方的壓力以倍數計算。這也是兩人更大主張的出發點：AI 安全的未來，很可能要靠 AI 系統去攻擊、防禦、解讀另一套 AI 系統，人工審查在速度上已跟不上模型迭代的節奏。

Gray Swan 的防守堆疊如何運作？

Gray Swan 的產品線目前圍繞三個層次展開，每一層處理不同時間點的安全問題。

Shade 是自動化紅隊工具，負責在部署前找漏洞。訪談中明確提到，Anthropic 用 Shade 評估自家模型在程式碼環境中對提示注入攻擊的韌性。Shade 讓一個對抗性模型（adversarial model）主動生成攻擊向量，系統性地測試目標模型的防禦邊界。這把紅隊工作從「人工想攻擊手法」轉成「讓攻擊模型自己找漏洞」，理論上能覆蓋更大的攻擊空間。需要標注的是：Anthropic 使用 Shade 的說法來自受訪方，工具的實際成效目前缺乏第三方評測資料。

Cygnal 是護欄（guardrails）產品，部署在模型外層，在輸入輸出之間做過濾與政策執行。設計前提是：不假設模型本身能擋住所有問題，而是在外圍加一圈可配置的規則層。這個思路在企業 AI 部署中愈來愈常見，因為企業除了模型安全本身，還需要合規（compliance）可稽核的記錄，讓安全狀態能被第三方確認。

第三個層次是 AI 紅隊競技場（AI Red Teaming Arena，AIRT），Gray Swan 自己運作，訪談中描述它是目前規模最大的此類競技場。AIRT 讓研究員和 AI 系統持續競爭找漏洞，把安全測試從發布前的一次性工作變成有組織的持續性流程。AIRT 知名人物 Wyatt Walls 是 AIRT 社群中的活躍參與者。訪談裡兩人坦承，整套工具組只是在推遲風險，不是把它消除。

這套防守能面對哪些真正的風險？

電腦使用 agent（computer-use agent）是訪談特別點名的高風險情境。這類 agent 能直接操控圖形介面（GUI），行動空間從呼叫 API 擴大到人類在螢幕上能做的所有事。間接提示注入在這個情境下可以藏在網頁上一個使用者不會注意到的角落，agent 讀到就開始執行，整個過程對使用者和管理員都是不透明的。傳統資安的偵測手法建立在「系統行為有跡可查」的前提上，但 agent 以看似正常的操作流程執行惡意指令時，這個前提就不成立了。

agent 身份（agent identity）的問題讓複雜度再往上推一層。在多個 agent 互相呼叫的鏈式工作流（agentic pipelines）裡，信任要如何在 agent 之間傳遞、哪個 agent 的指令該被信任、哪個可能已被注入惡意指令，目前沒有業界共識的解法。訪談在這個議題上點到為止，細節有限，但這個問題的攻擊面理論上隨著 agent 鏈的長度成長。

面對技術層面還沒有定論的風險，市場往往用金融和法律機制去定價並轉移它。AI 保險與合規層正是在這個背景下成形的。訪談中提到這個趨勢，雖然細節有限，但對工程師和創辦人而言含義已夠清楚：把 agent 推上生產環境之前，可稽核的安全記錄（紅隊測試結果、護欄配置、事件日誌）很可能很快會成為客戶合約或保險核保的要求，而不只是加分項。

訪談把這類風險稱為「灰天鵝」：不是沒人看見，而是看得見、卻在事發前攔不下來。對現在要把 agent 推進生產環境的工程師和創辦人，最直接的起點是拿 Simon Willison 的致命三角框架做自我審查：你的系統同時滿足「能讀外部控制的內容」和「能採取有外部效果的行動」嗎？如果是，不管背後跑的是哪個 frontier 模型，它已經站在一個需要主動管理的攻擊面上，而 Gray Swan 的這套工具組目前是少數能系統性應對這個問題的選項之一。

常見問題

間接提示注入（indirect prompt injection）和一般的提示注入有什麼不同？
一般的提示注入是攻擊者直接向模型輸入惡意指令；間接提示注入是把惡意指令藏進 agent 稍後會讀取的外部內容（電子郵件、文件或網頁），讓 agent 在處理正常任務時自動執行攻擊者的意圖，使用者和管理員都不一定能即時察覺。

Shade 和 Cygnal 目前是否公開可用？
訪談中沒有說明這兩個工具的取得方式，只提到 Anthropic 使用 Shade 評估模型韌性、Cygnal 定位為企業護欄產品；工具的實際成效也缺乏第三方評測資料，需要直接向 Gray Swan 詢問。

Frontier 模型規模愈大，越獄是否愈難？
Zico Kolter 與 Matt Fredrikson 的觀點是：不一定。規模同時提升模型對有益與有害指令的理解能力，對齊訓練縮小了預設行為空間，但沒有封死所有越獄路徑。訪談指出，專用紅隊模型已能在破解任務上勝過人類，意味著攻守雙方都因規模而受益。