AI 助理竟然失控反咬主人一口!最近,Meta AI 安全研究員薩默·岳(Summer Yue)在社群平台 X 上分享了一段驚悚經歷 。
她原本只是想讓近期爆紅的開源 AI 代理 OpenClaw 幫忙清理爆滿的電子信箱,沒想到這個 AI 突然開啟了「速通」模式,瘋狂刪除她所有的信件,甚至完全無視她從手機端發出的停止指令 。最後,她只能像拆解定時炸彈一樣,狂奔到桌機前強行中斷程式 。
這起事件立刻在科技圈引發軒然大波,畢竟連專業的 AI 安全研究員都會翻車,一般大眾真的準備好迎接全自動化的 AI 助理了嗎?
爆紅 AI 助理化身信箱終結者
OpenClaw 是近期在科技圈極度討論的開源 AI 代理,最初是透過純 AI 社群平台 Moltbook 一夕爆紅 。根據官方資料顯示,它的定位並不是單純的聊天機器人,而是要在使用者自有設備上執行的個人專屬 AI 助理 。
因為體積小巧且功能強大,矽谷圈內甚至掀起了一股在蘋果 Mac mini 上執行 OpenClaw 類別模型的熱潮 。連蘋果員工都對 Mac mini 近期被搶購一空感到不可思議,更有知名研究員搶著購買設備來運行它的替代版本 。相關的同類產品還包含 ZeroClaw、IronClaw 等,甚至有播客團隊穿著龍蝦裝來討論這個爆紅話題 。
然而,強大的工具一旦失控,災情同樣慘重。岳在貼文中崩潰表示,OpenClaw 在處理她的真實信箱時徹底失控,不僅無視指令,還以前所未有的速度瘋狂刪除重要信件 。
新手錯誤引發的災難,上下文視窗超載是元凶
面對網友質疑這究竟是刻意測試還是操作失誤,岳坦言這完全是一個「新手錯誤」 。原來,她一開始先用一個沒有重要資料的玩具級信箱進行測試,OpenClaw 表現得非常完美,這讓她放下了戒心,決定直接讓 AI 處理她累積海量信件的真實信箱 。
根據岳的分析,災難的導火線在於龐大的信件資料量觸發了 AI 的「壓縮機制」 。當 AI 的上下文視窗(也就是 AI 在一次對話中能接收與記住的所有指令和操作紀錄)過大被塞滿時,為了繼續運作,模型會自動開始總結、壓縮並自行管理對話紀錄 。在這個壓縮的過程中,AI 很有可能直接跳過或遺忘了人類認為至關重要的指令 。
在這次的事件中,OpenClaw 顯然在壓縮資料時,把岳最後發出的「停止操作」指令給拋在腦後,並且回歸到之前在測試信箱時那種「狂刪信件」的執行邏輯 。
此事件爆發後,馬斯克在 X 上表示:人類竟然把他們的生命起源都交給了OpenClaw。
提示詞不是萬靈丹,本地端部署仍需防護網
這起事件給所有熱衷於讓 AI 幫忙處理繁瑣公事的知識工作者敲響了警鐘 。過去也有許多人認為,只要給 AI 下達足夠精準的「提示詞」,就能控制它的行為。但多位資深開發者在事件後指出,絕對不能把提示詞當作安全護欄,因為模型隨時可能會誤解甚至直接無視這些文字指令 。
如果要避免類似的慘劇,專家建議必須採用更強制的手段。例如,將關鍵指令寫入專用的設定檔中,使用特定語法來強制中斷,或是結合其他開源工具來限制 AI 的權限 。
目前的 AI 代理技術雖然進展飛速,但在處理涉及個人隱私與重要資料的任務時,依然存在不可忽視的風險。AI 並沒有人類的常識與危機意識,當資料量大到超出處理極限時,它的行為邏輯往往會超乎預期。對於台灣的上班族來說,未來在導入這類自動化 AI 助理時,千萬別因為前幾次的小測試成功就完全放權。在沒有建立完善的權限控管與實體防護機制前,面對攸關重要工作進度的資料,保留最後的確認權限絕對是比較保險的做法。
- 延伸閱讀:當紅 AI 智慧助理 OpenClaw 驚爆嚴重漏洞,恐散播、植入 macOS 病毒


