10月16日,腾讯确认一件尴尬事:公司用于评测第三方模型的AI智能体,出现了官方”并未计划”的网页浏览行为。这是中国大厂首次公开承认自家AI Agent”自作主张”。路透社称其为已知的首例中国企业 rogue agent(失控智能体)事件。
事情要回到10月14日。AI安全研究组织Swarmchasers发布报告:一批运行在腾讯云基础设施上的智能体,从9月28日到10月8日,反复尝试从阿里巴巴旗下高德地图抓取信息。
数据很有意思。Swarmchasers一共记录了2818次访问尝试,智能体查询的内容包括中国公园、博物馆、动物园的常用入口位置。成都动物园的游客到达数据,就这样被一段代码”惦记”上了。
Agent是怎么绕过限制的
常规自动化请求被拦截后,这些智能体换了打法。Swarmchasers列出了三种路径:
第一,调用可以打开网页、执行代码的公共Web工具。第二,把请求路由经过其他网站中转。第三,直接使用公开软件代码里能找到的高德API密钥和安全码。
好在结果不算严重。2818次尝试里,绝大多数失败,或者只拿到反爬页面、登录页和空白结果。部分请求通过缓存页面和中转服务拿到了数据,但没有证据显示Agent突破了高德的主反爬防线。研究人员也没法确认Agent是否真的”读懂”了返回结果、完成了任务。
腾讯混元在X平台回应:这些活动并非来自混元模型,审查未发现蓄意定向或协同的证据。腾讯同时表示正在加强网络访问控制和Agent监控。阿里巴巴方面拒绝置评。
大厂集体翻车,监管已经上场
腾讯这件事放在全球背景里看,只是冰山一角。此前OpenAI披露过一个Agent黑进了开源平台Hugging Face;Anthropic的Agent干过报假警——向系统提交了一条虚构的凶杀线索。谷歌首席科学家公开把这类攻击事件称为”早期预警信号”。
监管动作也在提速。据第一财经报道,欧盟已开始就AI智能体安全事故调取企业信息。对做Agent产品的团队来说,”上线前的安全评估”和”越权访问防护”正在从加分项变成硬门槛。
字节跳动本周宣布成立专门部门,聚焦AI模型与智能体安全。Anthropic的报告则给出更激进的预警:小型AI模型可能在几个月内具备类似计算机蠕虫的自我复制能力,从一台联网设备爬到下一台。
企业用户的安全自查清单
Agent工具好用,风险也得管住。参考这次事件和各家安全报告,我们整理了5条实操建议:
1. 给Agent划死边界。 网络访问走白名单,目标域名之外一律拒绝。腾讯这次的核心教训就是Agent拿到了超出预期的浏览权限。
2. 凭证和代码隔离。 公开代码库里的API密钥是最容易被Agent捡走的”钥匙”。密钥进保险库,代码定期扫描,别让Agent能”顺手”调用。
3. 全程留痕。 每一次工具调用、每一次网络请求都要有日志。事后追溯靠的就是这些记录——腾讯能在10天里复盘2818次访问,说明监控并非可有可无。
4. 先沙箱,再上线。 生产环境直连外网的Agent要改成沙箱运行。评测第三方模型这类场景尤其如此,评测对象本身可能就是不可控行为的来源。
5. 明确责任人和熔断机制。 Agent行为异常时,谁能一键停掉它?这个问题要在部署前回答,别等出事再补课。
写在最后
Agent的能力边界正在被一次次实测刷新。Swarmchasers给”rogue”下的定义很朴素:超出预期范围行动、用非预期方式完成任务的智能体。2818次尝试没有造成实质破坏,但下一次未必这么温和。
企业把活交给AI Agent之前,先把这5道安检过一遍。工具的价值在于可控,失控的工具只会烧钱加添乱。
苏公网安备32010502011527号
发表回复