共计 2901 个字符，预计需要花费 8 分钟才能阅读完成。
本刊记者 宋杰
在屏幕前，身着西装的“建国弟弟”梳理得体，温柔的声音轻声说出：“亲爱的姐姐，岁月如诗般美好。”评论区瞬间被无数玫瑰和爱心符号填满。
然而，在屏幕之外，60 岁的李阿姨对此一无所知，这位体贴的“弟弟”并不具备心跳，只有冰冷的代码，他所说的关怀话语只不过是为了将“姐姐们”引导至私域平台，以便进行商业变现。
最近，关于直播间利用虚拟主播，通过精心设计的情感话术诱导中老年消费者，甚至涉嫌诈骗的事件引起了广泛关注。“数字人王建国”成为了 AI 技术被不当使用的一个典型案例。
AI 数字人技术为电商领域开辟了崭新的发展方向，凭借其“不知疲倦”和“可批量复制”的特性，极大地提升了工作效率。然而，当这项技术被用来模糊虚拟与现实之间的界限，利用特定人群的情感需求进行不当营销时，潜在的风险显而易见，亟需规范和引导。
对此，相关部门已展开整治措施。根据“网信中国”微信公众号 7 月 9 日的消息，中央网信办针对 AI 技术的滥用进行了整顿，第一阶段共处置违规小程序、应用程序、智能体等 AI 产品超过 3500 款，清除违法信息逾 96 万条，封禁账号 3700 多个。
屏幕中的“贴心弟弟”
上海市普陀区人民法院刑事审判庭副庭长董婷婷在接受本刊记者采访时表示，近期利用“数字人主播”进行的诈骗案件频繁出现，其根本危害在于经过算法优化的精准话术非常容易诱导消费者冲动购物。
她指出，“王建国”在直播间中常称观众为“宝贝姐姐”，并通过“你已经偷偷刷过好几次，这次别再当小透明了”“我每隔几分钟就会查看你是否来了”等话术增强互动感。
记者在相关视频的留言区发现，常见评论如“感谢建国弟弟，你帮助了姐姐，姐姐感激不尽”和“你辛苦了，姐姐为你点亮红心，送你一朵小红花”等。
此外，“王建国”还经常承诺为“姐姐们”买房，甚至与她们共度余生，瞬间提升了情感的价值。
需要特别注意的是，视频结束时，“王建国”总会提醒“姐姐们”购买他所推广的商品，包括化妆品和黑芝麻糊等。
那么，这些“建国弟弟”是如何被创造出来的呢？记者近日以母婴博主的身份联系了一家自称位于郑州的数字人直播服务公司。
该公司周经理表示，他们的核心业务之一是克隆主播的形象和声音，打造“数字人直播间”。单个直播间的费用为 4980 元，如果支付 9800 元则可开通 10 个直播间。
周经理承认，平台对“与人互动”的真实性有要求，完全使用数字人进行直播存在风险，她建议交替使用真人主播和数字人直播以规避审查。
她进一步透露，低成本批量复制的模式，可以通过“贴牌”（OEM）方式向外扩展。许多小型科技公司由于缺乏研发能力，便向他们购买核心产品，贴上自身品牌出售，“我们主要服务 B 端客户，有 1000 多家合作伙伴。”
AI“明星男友”已成“重灾区”
一些不法分子甚至运用“AI 换脸”和语音合成等技术，伪装成娱乐圈人士、专家学者、知名企业家等公众人物，以此欺骗粉丝信任，实施诈骗。
2024 年 11 月，江西一位老人到银行申请银行卡，声称要贷款 200 万元给自己的男朋友“靳东”拍戏。警方调查后发现，这位所谓的大明星“靳东”其实是骗子冒充，视频也全是 AI 合成的。
在此案件中，嫌疑人利用 AI 换脸和语音合成技术，在多个平台上批量创建仿冒知名演员“靳东”的账号，发布大量以“靳东”名义表达“爱意”和“关怀”的视频。这些高度逼真的伪造内容，欺骗了众多中老年女性粉丝。受害者坚信自己与“明星”建立了恋爱关系，并在对方以“投资”、“应援”、“解决困难”等借口的引导下，倾尽积蓄进行转账。
靳东本人也曾表示：“一些喜爱我影视作品的观众，被 AI 换脸视频骗得非常惨，这种行为性质极其恶劣。希望能建立更好的规则。”
去年底，有网友提到一件事情：家里的老人看到了“张文宏医生”推广一种蛋白棒的网络卖货视频，信以为真，不仅下单购买，还在多个群聊中转发了该信息。
在这段 AI 合成的视频中，“张文宏医生”坐在那里，反复介绍该产品，声音听起来也非常相似。经过核查确认，这段视频是通过 AI 技术合成而成。目前，该账号在微信视频号平台上已无法搜索到，此前其商品橱窗页面显示，该款蛋白棒的销量已超过 1200 件。
同样受到困扰的还有雷军。在 2024 年国庆假期期间，短视频平台出现大量“雷军 AI 配音”的搞笑视频，内容涉及用伪造的雷军声音评论堵车、假期乱象等社会话题。这些视频多由用户通过 AI 语音生成平台制作，仅需输入文字即可克隆雷军的声线。事后，雷军不得不专门发视频，呼吁大家不要再恶搞。
董婷婷告诉记者，除了公众人物，诈骗分子还常将 AI 数字人包装成“理财专家”、“老中医”、“情感导师”等权威角色，而背后运作的实际上是一条标准化的骗局流水线。
识别这类陷阱，需要牢记三大关键特征：第一，账号内容高产但互动虚假；第二，话术流畅动听却逻辑混乱（如承诺“包治百病”、“稳赚不赔”）；第三，急于诱导用户脱离平台监管（例如要求加微信或跳转小众平台交易）。
董婷婷指出：“真正的专业人士绝不会依赖工业化批量生产的‘流水线内容’广撒网，更不会利用焦虑情绪催促付款。”
AI 治理仍面临众多挑战
奇安信集团发布的《2024 人工智能安全报告》显示，2023 年基于 AI 的深度伪造欺诈激增 3000%。
针对 AI 深度伪造欺诈的迅猛增长，相关整治行动也在迅速展开。今年 2 月，中央网信办启动了“清朗行动”，将整治 AI 滥用作为重点任务之一。2 月下旬，各大短视频平台陆续关停部分“王建国”账号，并清空相关视频。
在处理“王建国”案件时，平台回查并处置相关视频达 4.4 万条，针对 298 个违规账号采取了禁言措施。”抖音相关负责人向记者透露，为了遏制风险扩散，团队不仅对“王建国”的形象、昵称进行管控，还针对其变体特征训练垂类识别模型，“例如有人将昵称换成‘建国哥’，或变更虚拟人的发型，这些细微变化也能被模型捕捉到。”
各平台对数字人的监管也日益严格。快手电商收紧数字人直播，减少对 AI 直播的流量支持。主播在微信视频号直播间“讲解和售卖虚拟人代播软件”也会被判定为违规。
作为技术落地的第一道防线，平台亟需承担更积极的监管责任。当内容真实的界限因技术而变得模糊，平台应生成显著提示信息，告知受众该内容是由 AI 生成的。
然而，AI 治理依然面临多重挑战。“如今，AI 生成的内容越来越真实，批量制作的成本低，一些黑灰产团伙还会跨平台传播，给识别工作增加了难度。”抖音负责人坦言，平台正在联合行业机构优化技术，并通过发布《治理 AI 技术滥用专项公告》等方式，向创作者明确违规的红线。
在监管方面，《人工智能生成合成内容标识办法》将于今年 9 月 1 日起正式实施，该办法规定，用户在使用网络信息内容传播服务发布生成合成内容时，必须主动声明并使用服务提供者提供的标识功能进行标识。
各地政府部门也在积极探索规范路径，例如浙江出台的《浙江省网络直播营销行为规范指引》，明文规定“不得采用技术手段删除、篡改、隐匿区分 AI 数字人标识”。
董婷婷总结道：“技术本身并没有罪，防范的关键在于时刻保持理性判断，让技术真正为生活服务。”
