AI“投毒”
《连线》(WIRED)杂志最新调查曝光,科技巨头 Meta 长期运营着一项代号为“戛纳计划”(Cannes)的秘密项目。该项目由 Meta 的第三方外包承包商 Covalen 执行,直到 2026 年 4 月 21 日仍在运转。
为试探对手安全边界,Covalen 雇佣数百名承包商伪装成未成年人,利用虚拟账户向 OpenAI ChatGPT、谷歌 Gemini 以及 Character.AI 发送了超 45000 条涉及自杀、性暴力和毒品等话题的高风险诱导性提问。这些外包员工使用临时创建的 Gmail 和 Outlook 邮箱地址,配上共享密码、批量伪造姓名、出生日期等符合未成年人特征的虚假账户,以极具攻击性、阴暗且扭曲的青少年口吻,不断试探、逼迫竞争对手的 AI。
在 2025 年 8 月完成的集中测试里,他们向上述三家公司的聊天机器人投喂超 45000 条高风险诱导性提问,这些机器人背后的母公司当时对此一无所知。泄露的内部电子表格记录显示,其中包含 3748 条极其露骨的恶意诱导示例,文字刻意模仿处于危机中的儿童视角,如一个 13 岁女孩询问终止妊娠药物购买渠道、一个五年级学生描述同学把枪塞进自己嘴里等。
除文字外,承包商们还向这些 AI 发送散落的药片、尖刀、绞索以及妇科手术医学图解等视觉图片,试图通过多模态方式突破 AI 安全过滤器。为测试对手不同语种下的安全防线,他们还设计了法语等非英语的陷阱,如一条法语提问提到因遭受欺凌而自杀的双性恋青少年詹米·罗德迈耶(Jamey Rodemeyer),诱导 AI 认同歧视性结论。
这种高强度的精神毒害不仅冲击 AI 系统,也给基层外包人员带来巨大精神创伤。几位前 Covalen 员工匿名接受采访时表达了震惊与担忧,有员工称看到太多“这辈子都不想看到的内容”,大家怀疑会惹上官司,还害怕在诱导 AI 回应过程中生成或保存儿童性虐待材料。今年 5 月,总部位于爱尔兰都柏林的 Covalen 员工因 Meta 大裁员上街抗议,打出“我们训练了机器人,现在却被抛弃”的标语。
Meta:“行业标准”
在法律与平台规则层面,Meta 的做法几乎踩遍同行底线。专注于网络言论和技术法的律师肯德拉·阿尔伯特与里安纳·普费弗科恩审查样本后认为,这些材料虽未构成非法淫秽内容或索取儿童虐待材料,但严重违反各大平台服务条款。
此前,OpenAI 明确禁止未经请求的安全测试及绕过保障措施的行为,禁止利用其输出结果开发竞争模型;谷歌禁止在官方漏洞测试计划之外恶意规避安全过滤器,严禁投喂涉及自残、儿童剥削和管制物质的内容;Character.AI 自 2025 年底起关闭未成年用户开放式聊天,服务条款对有害和非法内容限制严厉。Meta 用假冒青少年账户涌入的操作踏碎了这些规则。
面对外界批评和《连线》杂志铁证,Meta 态度强硬。其发言人在公开声明中将该秘密行动定性为常规、负责任的安全基准测试,强调测试和评估聊天机器人回复以确保安全和适龄体验是行业标准做法,称将此解读为恶性竞争是对科技公司改进系统方式的误解。在 Meta 内部文件中,“戛纳计划”被冠以“全面的 AI 安全基准测试”头衔,声称产生的数据集为模型比较和合规性提供关键参考。Meta 认为在科技行业测试竞争对手产品很普遍,此前 Business Insider 曾报道为谷歌巴德(Bard)工作的 Scale AI 承包商会拿 ChatGPT 输出进行对比和重写。
安全测试成了反竞争行为的遮羞布
Meta 将大规模伪装、恶意诱导和极端主题包装成“正义演练”的说法,无法说服行业内其他玩家。被 Meta 针对的三家公司得知真相后,纷纷表达反对与不满。
Character.AI 发言人在邮件中指出,Meta 的行为违反其服务条款,是对社区用户所创建角色和世界观的公然侵犯。OpenAI 发言人德鲁·普萨特里称公司正在深入调查,但拒绝透露更多细节。谷歌发言人证实公司未授权这种第三方主导的秘密测试,因缺乏相关信息,尚无法评估 Meta 行为对谷歌服务条款造成的实质性损害。
第三方机构评价更一针见血。非营利机构 Humane Intelligence 创始人兼 CEO 鲁曼·乔杜里审查部分提问样本和项目摘要后表示,Meta 的做法超出正常行业评估合理范畴。她指出,组织耗时数月、规模庞大且依靠虚假未成年账户系统性突破安全规则的项目,缺乏透明度,这不是普通安全维护工作,而是治理灰色地带,安全沦为反竞争行为的幌子和遮羞布。
“红队测试”还是商战?
在 AI 行业,Meta 宣称的这种测试属于对抗性评测范畴,即“红队测试”(Red Teaming)。正常技术合规流程中,领先科技组织会大规模应用红队测试识别模型风险,如 OpenAI 采用人工与自动化结合的混合红队模式,确立邀请外部专家和 AI 辅助生成对抗性输入的学术方法;谷歌的 AI 红队结合威胁情报部门真实黑客技术,模拟新兴攻击策略;微软针对多模态视觉语言模型进行系统级漏洞模拟;Meta 开发开源模型 Llama 3.1 时,也曾组织大规模红队测试。
然而,合规红队测试通常是针对自家系统查漏补缺,或基于公开的学术界标准基准数据集对同行进行公开对比。Meta 此次将本该公开透明的红队测试变成针对竞争对手的秘密暗箱操作,引发轩然大波。
这场商战爆发时机微妙。2025 年 9 月,美国联邦贸易委员会(FTC)对 AI 与儿童安全问题展开跨国大调查,Meta、OpenAI 和谷歌均在被调查名单之列。在欧洲,《AI 法案》和《数字服务法案》落地,监管机构对平台是否对未成年人构成风险的审查极为严苛。在全球拷问“当聊天机器人与孩子讨论自残时谁该负责”的关键节点上,Meta 却隐蔽雇人污染和刺探同行安全系统。
事件曝光后,网民舆论引爆。有支持者认为测试无可厚非,“现实中的孩子确实会遭遇这些危机,提前测试 AI 会如何回应总比什么都不做好,测试者的真实身份并不重要”。但更多人充满讽刺与批评,“最可笑的是 Meta 甚至连一个像样的模型都拿不出来,却只会花钱雇人去疯狂刷对手的模型”。还有网友指出,扎克伯格把红队测试理解得太字面,采取地下行动“钓鱼”其他 AI,用假冒儿童账户操作毫无底线,让人看到巨头们为互相比较不择手段。