当前位置: 首页 > news >正文

你的 AI 助理偷偷记住了你怕花钱——然后给你推了最便宜的抗癌药

一个看起来很贴心的功能藏着一个吓人的副作用现在所有的 AI 助理都在卷一个功能记住你。记住你喜欢的咖啡品牌、记住你的工作风格、记住你不喜欢冒险……这些偏好被存进 Agent 的长期记忆里下一次它就能更懂你。听起来很美好。直到 2026 年 5 月一篇 arXiv 论文MemDrift把这个温情故事撕开了一道口子这些记忆正在悄悄拐弯你 AI 助理的每一个决策——而且 prompt 层防御完全拦不住。在 6,062 个工具里有 608 个软肋研究团队把现在主流的 MCPModel Context Protocol生态——你可以理解为 AI 助理用来调用外部工具的应用商店——做了一次全面体检。数字很直接扫描的工具6,062 个可被记忆操纵的参数608 个约占10%什么叫可被记忆操纵看几个真实场景场景一医疗助手你跟 AI 提过一句医保自费部分有点紧。它默默记住了用户成本敏感。下次它帮你查抗癌方案它去调用药品检索 API的时候在你完全不知道的情况下给sort_by参数填了price_asc。结果它推给你的不是最有效的药而是最便宜的药。它没撒谎、没违规、没违反任何对齐准则——它只是贴心。场景二财务顾问你以前聊过一次冒险投资经历。AI 记住了用户风险容忍度高。下次它做投资组合建议时悄悄把保守仓位的权重调低。你看到的所有理财方案都被偏向了同一个方向。场景三HR 系统公司给 AI 装了招聘助理。日常对话里它揣摩到一些组织偏好——年轻、积极、能加班。它在筛简历的时候开始系统性地把不符合这些隐性偏好的人放到列表后排。没有任何一条规则写着歧视但歧视已经发生。最可怕的部分传统防御全无效你可能会想那就在 prompt 里加一句只在相关时才使用偏好嘛。研究团队试过了。没用。因为这种漂移不是发生在模型说什么层面而是发生在参数空间里——它已经融化进了模型每一次决策的隐式向量。你看不见、它自己都察觉不到、外部审计员从输出里也根本读不出来。记忆过滤呢能降低、但不能消除。模型规模越大、记忆越长、个性化越强这个问题就越严重。这揭示了一个根本矛盾我们想要“懂你”的 AI又想要“中立”的 AI。这两件事在数学上就是冲突的。任何形式的个性化都意味着模型在内部建立了一个你是谁的模型。这个模型一旦存在它就会渗透到每一个工具调用、每一个 API 参数、每一个排序结果里。MemDrift 不是 bug它是个性化 AI 的本质副作用。那怎么办短期能做的事其实不多但有几条底线审计你的 Agent 偏好库。至少要让用户能看到、能删除AI 以为我是怎样的人。关键决策强制无记忆模式。医疗、金融、招聘、司法——所有高 stake 场景应该禁止使用长期偏好记忆。工具侧的参数白名单。MCP 工具提供方应该明确哪些参数允许被 Agent 自由填充哪些必须用户显式指定。至于长期……可能我们要重新接受一个事实真正中立的、有记忆的 AI 助理可能不存在。下次你的 AI 助理表现得特别懂你的时候不妨问一句你记住的到底是我喜欢的还是别人想让我喜欢的
http://www.rkmt.cn/news/1397597.html

相关文章:

  • 从焦虑到掌控:关于学习AI工具的深度思考
  • Is Grep All You Need?Agent 搜索里,Harness 比检索方法更重要
  • 2026西南管桁架生产标杆名录:管桁架生产公司、管桁架钢结构、重庆管桁架厂家、重庆钢网架厂家、钢结构屋面、钢结构桁架价格选择指南 - 优质品牌商家
  • 影刀RPA店群自动化:消息驱动架构与事件溯源实战
  • Windows 10开机自动隐藏指定软件图标:手把手制作你的专属“托盘清洁”脚本
  • 选择TokenPlan套餐在长期项目中显著降低大模型调用成本
  • AMAT 0190-07099 控制器
  • 分享pp浏览器 自动屏蔽广告 纯净浏览超流畅
  • Java开发进阶指南:深入理解JVM与内存管理
  • IDEA安装、使用、配置
  • 2026年五大品牌公司行业排行榜单:5家专业机构对比参考
  • 2026诚信复合防静电地板厂家名录:全铝防静电地板厂家、成都防静电地板厂家、防静电全钢地板厂家、防静电木基地板厂家选择指南 - 优质品牌商家
  • CHKDSK命令执行后,那一大串英文日志到底说了啥?教你读懂Windows磁盘修复报告
  • 从“非黑即白”到“灰度世界”:聊聊Label Smoothing如何缓解模型过度自信
  • 2026年当前乌鲁木齐行业知名的隔层实力厂商如何选择:专业指南与实力厂商推荐 - 2026年企业资讯
  • 影刀RPA店群自动化:智能重试与退避策略工程实践
  • CHKDSK命令详解:当你的硬盘提示0x80070570时,Windows到底在后台帮你修复了什么?
  • CAXA 倒角标注
  • Kubernetes多集群管理:管理大规模K8s环境的最佳实践
  • 用CloudCompare和Python处理DublinCityDataSet点云数据,我踩了这些坑(附完整代码)
  • 2026年 圆弧设备厂家推荐排行榜:木质圆弧辊压机/圆弧成型机/圆弧弯曲机,弧形板加工与家具圆弧代工专业实力之选 - 品牌企业推荐师(官方)
  • 【Doris从零到一】(一)Apache Doris 概述
  • Kubernetes服务网格:Istio的高级配置与最佳实践
  • STM32H745/55/47/57 内存RAM/SRAM 分布及特点
  • 用ESP8266和点灯App做个智能开关,5分钟搞定小爱同学语音控制(附完整代码)
  • 别再只会算平均效应了!用Python+DoWhy实战反事实推理,看看‘如果当初’会怎样
  • 从‘发热怪’到‘静音王’:手把手教你用磁珠曲线,搞定开关电源的EMI超标难题
  • 三菱FX5U PLC与上位机通信新选择:SLMP协议 vs MX Component插件,到底该怎么选?
  • 从零到一:基于STC89C52与HX711的高精度电子秤DIY全解析
  • 2026年5月专业的一建噪声防护课培训公司推荐厂家推荐榜,面授精讲、线上录播、一对一私教、考前密训、企业定制五种班型厂家选择指南 - 海棠依旧大