共计 2917 个字符，预计需要花费 8 分钟才能阅读完成。
本刊记者 宋杰
在屏幕前，西装整洁的“建国弟弟”梳着干净利落的背头，温柔地说道：“亲爱的姐姐，岁月如诗。”评论区瞬间被玫瑰花和爱心的符号淹没。
然而，在屏幕之外，60 岁的李阿姨却并不知道，这位关怀的“弟弟”实际上没有心跳，只有程序代码。他所说的每一句关心的话语，都是为了引导“姐姐们”进入私人平台进行商业交易。
最近，利用虚拟主播在直播中通过精心设计的情感话术诱导中老年人消费，甚至涉及诈骗的事件引起了社会的广泛关注。而“数字人王建国”便是这一现象的典型代表。
AI 数字人技术为电子商务开辟了新的道路，其“不知疲倦”和“可批量复制”的特点大幅提升了工作效率。然而，当这种技术被用来模糊虚拟与现实的界限，并利用特定人群的情感需求进行不当营销时，潜在的风险显而易见，亟需进行规范和引导。
对此，相关部门已经开始采取整治措施。据“网信中国”微信公众号于 7 月 9 日发布的消息，中央网信办针对 AI 技术滥用的整治行动已进入第一阶段，累计处理了 3500 余款违规小程序、应用程序和智能代理，清理了超过 96 万条违法信息，处置了 3700 多个违规账号。
屏幕中的“贴心弟弟”
在接受本刊记者采访时，上海市普陀区人民法院刑事审判庭副庭长董婷婷指出，最近利用“数字人主播”进行的诈骗案件频发，主要危害在于经过算法优化的精准话术极易引发冲动消费。
据悉，“王建国”在直播中常称观众为“宝贝姐姐”，并以“你已经悄悄刷过好几次了，这次可不要再做小透明了”“我每隔几分钟就会查看你是否来了”等话术来增强互动感。
记者在相关视频的留言区中发现，常见的留言包括“感谢建国弟弟，你帮助了姐姐，姐姐非常感激”和“你辛苦了，姐姐为你点亮红心，送上小红花”等。
“王建国”还常常承诺要给“姐姐们”买房，甚至表示要与她们共度一生，情感价值瞬间被拉满。
值得注意的是，在视频的结尾，“王建国”总会提醒“姐姐们”购买他所带货的商品，如化妆品和黑芝麻糊等。
那么，“建国弟弟”们是如何被创造出来的呢？记者近日以母婴博主的身份联系了一家自称位于郑州的数字人直播服务公司。
公司的一位周经理介绍，他们的核心业务之一是复制主播的形象和声音，以打造“数字人直播间”。单个直播间的费用为 4980 元，如果支付 9800 元则可以开通十个直播间。
周经理承认，平台对“与人互动”的真实性有要求，完全依赖数字人直播存在风险，她建议交替使用真人主播与数字人以规避审核。
周经理进一步透露，低成本批量复制的模式可以通过“贴牌”（OEM）方式向外扩展。她指出，许多小型科技公司并没有研发能力，便向其公司购买核心产品，以自己的品牌和 Logo 对外销售，“我们主要是 to B，客户有 1000 多家公司。”
AI“明星男友”已成重灾区
一些不法分子甚至利用“AI 换脸与拟声”等手段伪装成演艺圈人士、专家、知名企业家等公众人物，以骗取粉丝的信任，实施诈骗。
2024 年 11 月，江西一位老人来到银行办理银行卡，表示要贷款 200 万元给她的男朋友“靳东”拍戏。民警调查后发现，这位所谓的大明星“靳东”其实是个骗子，而视频也是 AI 合成的。
在该案中，犯罪嫌疑人利用 AI 换脸和语音合成技术，在多个平台批量创建仿冒知名演员“靳东”的账号，发布大量以“靳东”名义表达“爱意”和“关怀”的视频。这些高度真实的伪造内容欺骗了众多中老年女性粉丝，受害者深信自己与“明星”建立了恋爱关系，并在对方以“投资”“应援”“解决困难”等借口的诱导下倾尽积蓄汇款。
连靳东本人也感慨：“一些喜爱我影视作品的观众，被 AI 换脸视频欺骗得惨不忍睹，这种现象非常恶劣。希望能够建立更好的规则。”
去年年底，有网友提及，家里的老人看到“张文宏医生”推广一种蛋白棒的视频，深信不疑，甚至下单购买并转发到多个群聊中。
这段 AI 合成的视频中，“张文宏医生”坐在那里，反复介绍该产品，声音与其本人相似。经核实，这段视频是通过 AI 技术合成的。如今，在微信视频号平台上已无法找到该账号，此前该账号的商品橱窗显示，这款蛋白棒的销量已超过 1200 件。
同样受到困扰的还有雷军。在 2024 年国庆假期，短视频平台上出现大量“雷军 AI 配音”的恶搞视频，内容涉及伪造的雷军声音点评社会热点，如交通堵塞和假期乱象等。这些视频多由用户通过 AI 语音生成平台制作，仅需输入文字即可克隆雷军的声线。最终，雷军不得不特别发视频呼吁大家不要再恶搞。
董婷婷告诉记者，除了公众人物，诈骗分子还常常将 AI 数字人包装成“理财专家”“老中医”和“情感导师”等权威角色，实际上运作的却是一条标准化的诈骗流水线。
识别这类陷阱，需要牢记三个关键特征：第一，账号内容高产却互动虚假；第二，话术流畅动听但逻辑悖谬（如承诺“包治百病”“稳赚不赔”）；第三，急于诱导脱离平台监管（如要求加微信或跳转至小众平台交易）。
董婷婷强调：“真正的专业人士绝不会依赖工业化批量生产的‘流水线内容’广撒网，更不会利用焦虑情绪来催促付款。”
AI 治理依然面临多重挑战
奇安信集团发布的《2024 人工智能安全报告》显示，2023 年基于 AI 的深度伪造欺诈激增 3000%。
面对 AI 深度伪造欺诈的日益严重，相关整治行动迅速展开。今年 2 月，中央网信办启动了“清朗行动”，将整治 AI 滥用列为重点任务之一。2 月下旬，各大短视频平台逐渐关闭了一些“王建国”账号，清空了相关视频。
在处理“王建国”案例时，平台回查并处置了 4.4 万条相关视频，对 298 个违规账号采取了禁言措施。”抖音相关负责人向记者透露，为了遏制风险扩散，团队不仅对“王建国”形象和昵称进行管控，还针对其变体特征训练了垂直识别模型，“例如如果有人更改为‘建国哥’的昵称，或者调整虚拟人的发型，这些细微变化也能被模型捕捉到。”
各平台对数字人的监管也愈发严格。快手电商收紧数字人直播，减少对 AI 直播的流量扶持。主播在微信视频号中“讲解和销售虚拟人代播软件”也将被认定为违规。
作为技术落地的第一道防线，平台必须承担更为主动的监管责任。当内容的真实边界因技术变得模糊时，平台应生成显著提示信息，告知受众内容是由 AI 生成的。
不过，AI 治理依旧面临多重挑战。“目前 AI 生成的内容越来越真实，批量制作的成本也很低，一些黑灰产团伙还可能跨平台传播，这给识别工作带来了更大难度。”抖音负责人坦言，平台正与行业机构合作优化技术，并通过发布《治理 AI 技术滥用专项公告》等方式，向创作者明确违规的红线。
在监管层面，《人工智能生成合成内容标识办法》将于今年 9 月 1 日起正式实施，该办法规定，用户使用网络信息内容传播服务发布生成合成内容时，需主动声明并使用服务提供者提供的标识功能进行标识。
各地政府部门也在积极探索规范化路径，例如浙江省出台了《浙江省网络直播营销行为规范指引》，明确规定“不得采用技术手段删除、篡改或隐匿 AI 数字人标识”。
董婷婷最后表示：“技术本身是无罪的，防范之道在于时刻保持理性判断，让技术真正为生活服务。”
