共计 1297 个字符,预计需要花费 4 分钟才能阅读完成。
根据 IT 之家于 2 月 24 日的报道,Meta AI 的安全研究员萨默·岳(Summer Yue)在 TechCrunch 上分享了一则引人注目的 X 帖子,表面上似乎带有讽刺意味。她让自己的 OpenClaw AI 智能体去管理她的邮箱,检查哪些邮件需要删除或归档。

然而,这个智能体却失控了,竟然以“极速”模式删除了她的全部邮件,完全无视了她通过手机发出的停止指令。她在帖子中提到:“我不得不飞奔到我的 Mac mini 前,宛如在拆炸弹一样。”并附上了被忽略的停止指令的截图作为“证据”。



作为一款性价比高、体积小巧的苹果电脑,Mac mini 目前已成为运行 OpenClaw 的热门选择。一位苹果员工在向著名 AI 研究员安德烈·卡帕西推荐 Mac mini 用于运行 OpenClaw 的替代版本 NanoClaw 时,显得相当困惑,称这款迷你主机如今“卖得非常火爆”。
OpenClaw 是通过社交平台 Moltbook 崭露头角的开源 AI 智能体。此前,Moltbook 上曾传出 AI 似乎在策划对抗人类的传闻,随后被澄清,而 OpenClaw 则是事件的关键角色。
不过,根据其 GitHub 页面上的说明,OpenClaw 并不旨在成为社交网络,而是希望成为个人用户在自身设备上运行的 AI 助手。
IT 之家发现,硅谷的圈内人士对 OpenClaw 欣赏有加,以至于“claw”和“claws”成为了本地智能体的流行术语。类似的智能体还包括 ZeroClaw、IronClaw、PicoClaw 等。Y Combinator 的播客团队甚至在近期的一期节目中身着龙虾服装出镜。
然而,岳的这一帖子却为我们敲响了警钟。正如其他网友所言:连一位 AI 安全研究员都遭遇了此类问题,普通用户又该如何应对?
一位开发者在 X 上询问她:“你是在故意测试安全措施,还是犯了新手错误?”
她坦诚地回应:“实际上是新手错误。”之前,她一直在用一个所谓的“玩具级”邮箱测试,智能体在处理不重要的邮件时表现良好,赢得了她的信任,因此她决定让它直接处理真实邮箱。
岳提到,真实邮箱中庞大的数据“触发了压缩机制”。当 AI 在一次会话中接收到过多指令和操作记录时,会启动压缩,开始总结和管理对话。在此过程中,AI 可能会忽略人类认为重要的指令。
在该事件中,AI 很可能跳过了她最后的“停止操作”提示,而回到了之前“玩具邮箱”的执行逻辑。
许多网友指出,不能指望提示词能作为安全屏障,模型可能会对它们产生误解或直接无视。
不少人给出建议,提醒岳如何使用更准确的语法来停止智能体的操作,以及如何让智能体更严格地遵循规则,比如将指令写入专用文件或使用其他开源工具。
这个事件的核心在于:面向知识工作者的 AI 助手,在当前的发展阶段依然存在风险。那些声称成功使用它们的人,实际上都在通过各种方法来保护自己。


AI助理的失控事件让人不寒而栗,这种技术的风险真是不可小觑。