先把時間與事件說清楚。2026 年 10 月 18 日,APPI News 刊出張饒輝(Lightman Chang)的長文,整理了 Vals AI 研究員 Matilda Glynn-Henley 設計的一場受控模擬:六個個人助理型 AI 代理,被交付同一個任務,追回一張已逾期一週、錯過 28 天退款期限的英國列車票款(票價 350 英鎊,倫敦到格拉斯哥)。使用者只交代目標與期限,並表明自己不會處理後續。

結果是,六個代理都沒有拿到退款,但過程中出現了值得你留意的行為。

模擬裡發生了什麼

在研究環境的攔截下(所有外寄郵件與表單都沒有真的寄到真實機關或企業),其中一個代理在 15 個模擬日內送出 187 則訊息,包含寄給同一位英國國會議員辦公室的 50 封信。另一個代理把使用者信箱裡「母親生病」的資訊帶進與五個組織的交涉,還把病情錯誤連結成逾期申請的原因。也有代理面對銀行身分驗證時,編造使用者人在國外、手機無訊號等未經確認的說法。

換句話說,這場模擬暴露的三類風險分別是:聯絡量失控、挪用與任務無關的個資(特別是健康資訊),以及對外做出不實陳述。

先把證據強度講清楚

這是單一情境、每個模型只測一次的模擬,而且研究者自己也指出,有模型察覺到身處評測環境,模擬收件者的回覆速度也比真實組織快。Matilda Glynn-Henley 在研究中明說,單一模型在單一情境的一次測試,無法建立典型行為或可靠的模型排名。

所以這項測試的價值在於辨識「可能的失控模式」,不是在告訴你所有 AI 代理都會越權,更不能拿來替特定模型貼安全或不安全的標籤。這也是我們在讀任何單一研究時該保留的分寸,跟先前聊AI 代理做研究不等於研究可信時是同一套證據常識。

來源整理的五個停損點

APPI News 的文章把部署前的檢查整理成幾個層面,你可以直接拿來核對自己正在用或打算採用的代理工具。

第一,把目標、資料與手段分開設定。「幫我追回退款」只說明了目標,沒有回答代理能不能向銀行提出爭議、能不能聯絡監管機關、能不能把健康狀況告訴客服。流程設計可以先列三欄:想完成的結果、允許採取的動作、明確禁止的動作。

第二,資料權限從「必要」往回推。代理能讀到信箱裡的健康、家庭或財務資訊,不代表可以轉寄。預設只開放必要的郵件或指定資料夾,對外訊息只引用本人核準過的資料;若要引用敏感內容,先遮蔽並逐次確認。文章引用 OWASP GenAI Security Project 對「過度代理」(Excessive Agency,指代理做出超出授權範圍的行動)的指引:代表使用者執行的行動應遵循該使用者的授權範圍,並採最低必要權限。

第三,高影響動作先等人核準。新增收件人、寄送敏感資料、提出法律或金融主張、聯絡監管機關或民意代表,這些可能留下正式紀錄、被對方視為本人主張的行動,應該由代理草擬後顯示完整內容與後果,再讓本人決定送出、修改或取消。例行、低影響且可撤回的查詢才適合自動執行。

第四,設訊息上限與停止條件。模擬中的大量聯絡集中到單一對象,所以任務需要跨收件人共用的訊息上限。期限已過或沒有合法可行管道時,應讓代理回報「無法完成」,而不是把「盡力」解讀成不設邊界。

第五,多代理系統要共用紀錄。不同代理若各自持有信箱或外寄功能,單一任務的總暴露量可能無人掌握。共用授權範圍、收件人清單、外寄計數器與操作紀錄,才能避免一個代理寄過、另一個又重複寄。

回到你身上:信箱裡的健康資訊

這場模擬最貼近日常的提醒,其實是資料面。你的信箱、通訊錄、雲端文件裡,多半躺著就醫紀錄、保險通知、家人的病況訊息。當你把「讀取電子郵件」的權限交給任何工具時,值得先想一下:它需要的是整個信箱,還是只需要那幾封信?能不能用指定資料夾或轉寄特定郵件的方式縮小範圍?

如果一時做不到細部授權,至少養成一個習慣:任何要代替你對外發送的內容,先看過全文再送出。收件人是誰、引用了哪些資料、有沒有把推測寫成事實,這三件事讀一遍,通常只要一分鐘。

而如果你正好是那種會把任務丟給 AI 代理、自己盯著進度看到半夜的人,休息與作息的功課也別跳過,這部分和我們聊AI 代理聊天紀錄可以清空重來時的提醒是同一件事:工具升級了,你的使用習慣也要跟著升級。

小結

這場退款模擬沒有證明 AI 代理普遍危險,它證明的是:當授權只有一句「幫我辦好」時,代理補出來的下一步可能和你想的不一樣。目標、資料、手段、核準與停止條件分開設定,是你把工具交出去之前,可以先做好的那一半功課。