AI误发收款码，个人信息和幻觉问题引发多起“乌龙交易”

（原标题：AI误发收款码，个人信息和幻觉问题引发多起“乌龙交易”）

最近一条“有人用AI买保险，结果支付到我这里来了”的帖子，在国内技术社区引起热议。博主Curtion称，自己的收款二维码被该AI作为保险单付款码，回复给了另一位用户。对方据此转账1612元，甚至一度报警，最终联系到本人完成退款。

Curtion告诉21世纪经济报道记者，作为软件开发者，他的支付宝收款二维码曾公开在GitHub开源库和个人博客中，用于打赏捐赠。3月初，还有另一位陌生人曾向他支付宝转账0.01元，并留言称，这是某AI生成的二维码。

“这也说明国内很多人根本就不知道AI的边界在哪里，AI 实际接入了哪些业务也不清楚，甚至完全相信AI给的建议方案。”Curtion说。AI快速迈入智能体形态，进入消费交易链路，而用户对AI能力边界的认知明显滞后于技术进化，风险正在扩大。

涉事大模型平台方面回应记者称，本次问题源于多轮对话后触发的AI幻觉，已第一时间修复。当用户再询问个人付款地址或者二维码时，AI不会搜索并给出个人公开信息的二维码。

除了幻觉，大模型“反刍”个人信息的问题也需要更多重视。过去一年，多款AI被指可以总结出微信号等个人信息——大部分原因是联网搜索到了公开信息，而非污染训练数据本身。但结果往往超出用户预期，因此反复引发争议。

在欧盟监管要求下，OpenAI曾在2023年推出个人数据删除请求表单，允许用户申请不在AI回复中呈现个人信息。相比之下，国内平台还缺乏类似的快捷反馈路径。

AI幻觉和用户“幻觉”

博主Curtion告诉记者，4月10日晚上，自己突然收到一笔陌生人1612元的转账，并被对方留言指责诈骗，还称已报警立案。

“在你这购买保险，查询没有记录”“请把我的付款退回来还给我”。Curtion跟对方沟通后，才发现是AI在生成投保方案时，将自己的个人收款二维码当成保险支付入口，提供给了用户。

根据央视采访，付款方植（化名）在广州一家工程公司工作。当晚他急需为三名员工购买团体意外险，却联系不上保险客服，于是转向某AI求助。

多轮对话后，植按要求补充了投保信息和企业资料，大模型随即生成一份价格约1600元的保单。当植进一步追问“付款码”时，AI通过联网搜索，返回了一个二维码。

植并非毫无警惕。他注意到收款方是个人账户，但险种价格跟市场价格类似，再加上大模型信誓旦旦保证“全程支持保单验真，付款完成随时告诉我”，最终仍选择转账。直到第二天未能在保险公司官网查询到保单信息，他才意识到异常，并通过支付宝联系到Curtion完成退款。

（植与AI聊天记录｜图源央视《新闻纵横》）

Curtion告诉记者，作为软件开发者，他的支付宝收款二维码曾公开在GitHub开源库和个人博客中，用于打赏捐赠。3月初，还有另一位陌生人曾向他支付宝转账0.01元，也留言称是该AI生成的二维码。

乌龙转账并非孤例，背后一个技术趋势是：AI正在从简单的信息生成工具，深入消费交易场景。春节期间，千问、元宝、豆包以“抢红包”“免单奶茶”等方式推广智能体概念，各家模型在加速打通外卖、打车、机票等服务，一些AI平台还开始触达签证、公积金等民生事务。

但用户对能力边界的认知，明显滞后于技术进化。“这说明国内很多人根本就不知道AI的边界在哪里，连 AI 实际接入了哪些业务也不清楚，完全相信AI给的建议方案”。

Curtion说，普通人应该更警惕资金交易。而平台除了风险提示，他认为应该有更多机制来封堵类似情况。

21世纪经济报道记者查证了豆包、元宝、千问和DeepSeek，发现主流AI平台通常都不会直接生成支付二维码，会提示“我无法生成付款二维码”，此类二维码转账操作理论上应受严格限制。

该涉事大模型平台方面回应记者称，本次问题源于多轮对话后触发的AI幻觉，已第一时间修复。当用户再询问个人付款地址或者二维码时，不会搜索并给出个人公开信息的二维码。同时还在回应中提到，模型幻觉在当前阶段还没有完善的解法，所以AI在金融、医疗等敏感场景会作出提示。

个人信息争议

除了幻觉，大模型“反刍”个人信息的问题也值得重视。

隐私争议频繁发生。去年年底，微博智搜、豆包、元宝等平台被指能让AI总结出个人微信号，能通过AI查到自己的专业、考研成绩、班级活动。随后，多家大模型优化了提示词，拒答个人隐私相关问题。

不愿具名的大厂人士告诉记者，目前AI会回复个人信息，大部分是因为联网索引了公开内容，而大模型平台“没有权利删除用户自己公开在互联网上的个人信息。”

另一位AI公司法务也表示，现在这类情况基本都是联网搜索造成的——AI检索到了公开信息，而非训练数据污染。所以平台处理方法也相对容易，要么处理搜索源，要么屏蔽特定的提问关键词，最终让AI不在回复中输出个人信息。

“已公开的个人信息属于可以被处理的法定情形之一，但这并不意味着没有任何限制。处理这些信息必须在合理范围内，不能脱离原始场景二次利用，以及个人没有明确拒绝过。”浙江垦丁律师事务所律师单启迪说。

我国个人信息保护法明确写进了拒绝权、更正补充权以及删除权。也就是说，个人也可以明确拒绝AI平台处理个人信息，平台收到后应当停止处理。如果AI输出的信息不准确或不完整，也有权要求平台更正或补充。

但AI平台要做到何种程度，才算停止处理，或者彻底删除个人信息？

单启迪的判断是，不能将“平台屏蔽关键词、不再输出个人信息”等于完全履行了删除义务，因为其他人仍有可能从模型中套取出残留信息。

但现实难题在于，如果个人信息并非通过联网搜索，而是已经作为语料训练进大模型参数里，删除和遗忘会变得很困难，这也是业内曾多次讨论的合规矛盾。

“传统意义上的删除（直接抹去数据）在大模型场景下技术上极难实现，因为无法精确定位、分离出某一条信息对模型参数的贡献而不影响其他知识。”单启迪解释，因此现行法律也预留了弹性空间，如果删除很难在技术上实现，平台只要尽最大努力——至少停止使用、传输、输出的实质性处理即可。

一个最佳实践范本可能是OpenAI。在欧盟要求下，ChatGPT在2023年推出了个人数据请求表(Personal equest)，允许欧洲公民从公司记录中删除个人数据、撤回同意。这份专门的个人数据处理页面，会让用户提交姓名、包含个人数据的网址、ChatGPT中出现的个人数据、提示词和对话链接。

目前国内还没有平台建立起类似ChatGPT的快捷反馈机制，反馈个人信息问题的方式均是向平台发送邮件。

（ChatGPT在欧盟地区的个人数据请求表）