（易欢）“我经常刷到非常知名的院士专家推荐某美白产品，自己也有这方面的困扰，因为是权威专家本人亲推的就抱着试试的心态买了！”“看到自己非常喜欢的名人说用某某保健品亲测有效，总忍不住想要下单。”在人工智能快速渗透的当下，短视频平台利用AI技术把名人明星换脸拟声植入广告，带来受益的情景已然泛滥。这种通过科技在自媒体领域制造的营销乱象真假难辨，不仅存在严重的侵权行为，也严重损害了消费者的合法权益。
相关数据显示，仅 2024 年通过 AI 换脸实施的诈骗案件涉案金额就达 17.3 亿元，而如今，在科技的加持下，消费者面临着AI换脸＋换声的双重威胁，高度真实感让消费者们很难辨别信息真伪。当科技为人类生活提供极大便利的同时，如何合法合规的使用AI带来正向价值，避免技术黑箱成为新型犯罪的温床，保障用户权益成为社会发展必须要考虑的关键问题。
“AI换脸拟声”乱象频出
毫无疑问，人工智能的快速发展，推动了AI换脸拟声在影视、广告、社交等领域的广泛兴起，成为极具传播力、易成热点的技术应用。但同时也看到，AI换脸拟声的不当滥用成了违法侵权行为的重灾区，易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为，甚至造成难以挽回的大规模形象和声誉损害，损害消费者权益的同时带来社会治理等风险。
在今年两会期间，“AI换脸”“AI拟声”也成为热议话题。其中，不少两会代表们也深受其害，比如，全国人大代表、小米集团CEO雷军在去年国庆期间，被人用AI捏造声音乱说一气，并以“雷军语音包”的形式在网上流传；全国政协委员、上海华山医院医生张文宏被AI换脸“带货”等，在所谓“操盘手”的套路之下，应用AI技术扩散的虚假宣传正在成为收割消费者的一种利器。
值得注意的是，目前，对于AI换脸的“反侦察”技术检测尚无法做到百分百准确，但AI深度合成技术所需素材却具备获取便利、技术使用门槛低的特性，面对AI换脸拟声乱象，现有的法律法规尚不能完全满足治理需求，亟须通过立法手段厘清边界。
在两会期间，小米集团CEO雷军也针对“AI换脸拟声”等某一代表性问题，提出建议，探索推出人工智能单行法，提高立法位阶及其效力，分级分类的基础上进行务实治理，明确“AI换脸拟声”应用边界红线，完善侵权证据规则，加大对利用人工智能技术实施犯罪行为的刑事处罚力度。
雷军还建议强化行业自律共治，压实平台等各方的责任。支持平台企业开发可精准识别人工智能深度合成内容的技术能力，优化升级通信软件和内容平台巡查审核机制、投诉举报机制、应急处理机制，确保及时阻断问题内容传播。
不仅如此，他还强调要加强人工智能方面的法制宣传教育，增强民众的警惕性和鉴别力，聚焦重点人群，在中小学人工智能教材中加入伦理规范内容，深入老年人聚居的社区开展相关知识普及活动，在全社会夯实“以人为本、智能向善”的人工智能发展生态。
人工智能健康有序发展可期
实际上，早在2022年11月，国家互联网信息办公室、工业和信息化部、公安部联合发布了《互联网信息服务深度合成管理规定》，为深度合成服务划定了“底线”和“红线”，维护网络空间良好生态。不过在实际操作中，仍存在一些模糊地带。例如，对于个人使用“AI换脸拟声”技术的界限、平台审核责任的具体划分，以及侵权赔偿标准的确定等方面，还需进一步细化和明确。
为了更好的应对在AI技术加持下的虚假信息泛滥、网络信息治理等棘手问题，近日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》（以下简称《标识办法》），自2025年9月1日起施行。
《标识办法》提出，服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定，在生成合成内容的文件元数据中添加隐式标识，隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息。鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。
《标识办法》要求，互联网应用程序分发平台在应用程序上架或者上线审核时，应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务。互联网应用程序服务提供者提供人工智能生成合成服务的，互联网应用程序分发平台应当核验其生成合成内容标识相关材料。
国家互联网信息办公室有关负责人表示，《标识办法》聚焦人工智能“生成合成内容标识”关键点，通过标识提醒用户辨别虚假信息，明确相关服务主体的标识责任义务，规范内容制作、传播各环节标识行为，以合理成本提高安全性，促进人工智能在文本对话、内容制作、辅助设计等各应用场景加快落地，同时减轻人工智能生成合成技术滥用危害，防范利用人工智能技术制作传播虚假信息等风险行为，推动人工智能健康有序发展。
在AI技术一路狂飙之下，换脸拟声正在不断模糊真实与虚构的边界，作为企业而言必须真正把科技向善的基因融入到算法中，才能更好的守护用户的消费安全。与此同时，国家层面、相关企业、网络平台等也需要形成合力，促使AI换脸拟声技术在合法、合规的轨道上健康发展。
来源：飞象网
相关推荐
-
数据窃取、AI技术滥用、网络虚假抽奖……谁在侵犯信息安全?
每年的国际消费者权益日，信息通信安全和互联网治理领域都会成为焦点话题。今年央视3・15晚会再度曝光了数据窃取、AI 技术滥用、网络虚假抽奖等行业乱象，直指新消费领域所面临的治理挑战。
-
2025款小鹏G6和G9发布：配置绝杀!全系标配5C超充AI电池+图灵AI智驾
3月13日，小鹏汽车召开春季发布会，正式推出2025款小鹏G6及G9两款车型。作为品牌十年发展历程中的重要节点，两款新车均进行了全面升级，搭载行业领先的5C超充AI电池与图灵AI智驾系统，并以更具竞争力的价格布局新能源车市场。
-
新夸克告别搜索 升级为一个无边界的“AI超级框”
3月13日消息（报道：李楠）今日，阿里巴巴宣布推出AI旗舰应用——新夸克。新夸克基于阿里通义领先的推理及多模态大模型，全面升级为一个无边界的“AI超级框”，为2亿用户带来全新体验。阿里巴巴表示，未来通义系列模型的最新成果都将第一时间接入夸克。 新夸克将告别传统搜索，升级为一个All in One的“AI超级框”，...
-
AI与5.5G共振，一场技术与商业的“双向奔赴”
在2025世界移动通信大会（MWC2025）上，AI与移动网络的深度融合成为行业关注的焦点议题。两大技术浪潮正在形成共振效应。一方面，以DeepSeek为代表的开源大模型持续降低AI应用门槛，推动技术普惠化进程；另一方面，5G网络向5G-Advanced的演进构建起超大带宽、超低时延的智能连接基座。这种AI与通信技术的深度融合正在重构产业生态，催生全新的价值增长点。
-
多家海外AI平台接入阿里千问QwQ-32B
3月13日消息（报道：李楠）自3月6日发布以来，通义千问QwQ-32B稳居全球最大AI开源社区HuggingFace趋势榜榜首，成为当前最受欢迎的开源大模型之一，多家海外AI平台宣布接入。AI平台SambaNova Systems全面支持QwQ-32B推理，并在输出速度上达到最高水平。SGlang、Ollama、...
-
技术渗透带来的新型欺诈：AI换脸/语音克隆能不能治？
当一段视频通话中的“领导”以急事为由要求转账，当社交媒体上突然出现“明星代言”的虚假广告，当父母收到“子女”声泪俱下的求助语音……这些看似荒诞的场景，正随着AI换脸与语音克隆技术的普及，成为新型犯罪的温床。技术的光影之下，人性的贪婪与法律的滞后交织成一张复杂的网，既时刻威胁着个体的权益，同时也拷问着社会治理的智慧。
-
焕然一新！通义App重塑产品交互，打造实用、贴心个人AI助手
3月10日消息（报道：李楠）今日，通义App全新升级，上线超级智能体，融入阿里最新推理模型通义千问QwQ-32B强大能力。基于阿里多个先进大模型加持，通义用焕然一新的面貌，为用户打造实用、贴心的个人AI助手。 通义App用全新产品理念重塑产品交互，以超级智能体作为交互中枢。用户在通义首页能问、能聊，通义超级智能体...
-
聚焦315｜诈骗升级别慌！手机里的“AI保镖”已就位
只需一张静态照片，诈骗分子便可通过深度合成技术生成逼真视频，甚至克隆声音，冒充亲友、领导或明星实施诈骗。今年全国两会，“靳东两会建议AI换脸立法”登上热搜；雷军则在其议案中提到，“AI换脸拟声”滥用已成为违法侵权的重灾区。随着AI技术的深度应用，所带来的安全挑战也日益严峻。
-
GSMA移动AI社区正式成立，产业共筑移动AI新未来
【巴塞罗那】2025年3月3日-世界移动通信大会（MWC 2025）开展首日，在GSMA Connect 5G Summit旗舰峰会上，GSMA协同产业组织GTI，及多位领先运营商、设备商和产业伙伴代表，宣布正式发起GSMA Mobile AI Community Group，这不仅标志着移动AI成为产业共识，也标志着移动AI产业合作开启全新篇章。
-
全面拥抱智能化时代：打造以AI为中心的F5G-A全光网络
近两年来，全球人工智能大模型的研发与应用异常火爆，特别是在高性能、低算力需求的DeepSeek于2025年初异军突起后，国内外主要ICT厂商纷纷推出了基于DeepSeek的应用服务，大大加快了大模型在个人、家庭和行业应用市场的渗透速度。AI大模型应用的崛起对网络基础设施提出了全新的要求，包括大带宽、确定性的低时延、连接的高可靠性等。为帮助运营商更好地应对AI浪潮，华为2024年推出了以AI为中心的F5G-A全光网解决方案，包括高可用性的3D-Mesh骨干网，一跳直达、1毫秒时延的全光城域，以及10Gbps智能接入网、支持智慧家庭应用的FTTR产品、智能管控系统等。
