AI有法可依！《深度合成管理规定》意见稿发布，换脸合成人声需标注

GameLook
2022年1月29日08时

「点击上方"GameLook"↑↑↑，订阅微信」

当英伟达CEO黄仁勋为了展现自家数字人技术的高拟真，在发布会上用数字化身瞒天过海时，你是否想过，这样“善意的骗局”如果被别有用心之人利用，将会产生怎样的恶果？

1月28日，国家网信办官网正式发布了《互联网信息服务深度合成管理规定（征求意见稿）》（以下简称“意见稿”），对于文本、图像、音频、视频等各种借助AI技术进行深度合成的行为进行了边界划分和初步规范。意见稿旨在加强对深度合成的监管，保障相关领域的健康有序发展。

在元宇宙风口上自由生长了多年的AI，由此也将迎来有法可依的新局面。

明确技术边界，“显著标识”成重点

意见稿首先明确了“深度合成”的边界。具体表述如下：

本规定所称深度合成技术，是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括但不限于：

（一）篇章生成、文本风格转换、问答对话等对文本内容进行生成或者编辑的技术；

（二）文本转语音、语音转换、语音属性编辑等对语音内容进行生成或者编辑的技术；

（三）音乐生成、场景声编辑等对非语音内容进行生成或者编辑的技术；

（四）人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等对图像、视频内容中人脸等生物特征进行生成或者编辑的技术；

（五）图像增强、图像修复等对图像、视频内容中非生物特征进行编辑的技术；

（六）三维重建等对虚拟场景进行生成或者编辑的技术。

上述六条基本涵盖了目前深度合成技术在互联网领域中的各种应用场景，从最基础的文字合成到元宇宙的关键底层技术三维重建，均被纳入其中。值得注意的是，除了对合成技术可能产生的不良内容和负面效应进行严格规范，意见稿第十四条特别强调了深度合成的“显著标识”问题。具体表述如下：

深度合成服务提供者提供以下深度合成服务的，应当使用显著方式对深度合成信息内容进行标识，向社会公众有效提示信息内容的合成情况：

（一）提供智能对话、智能写作等模拟自然人进行文本生成或者编辑服务的，在文本信息内容的稿源说明处等位置进行显著标识；

（二）提供合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务的，在音频信息内容的合理区域以语音说明等方式进行显著标识；

（三）提供人脸生成、人脸替换、人脸操控、姿态操控等虚拟人物图像、视频生成或者显著改变个人身份特征的编辑服务的，在图像、视频信息内容的明显位置进行显著标识；

（四）提供沉浸式拟真场景等生成或者编辑服务的，在虚拟场景信息内容的明显位置进行显著标识；

（五）提供其他具有生成或者显著改变信息内容功能的服务的，在文本、图像、音频或者视频、虚拟场景等的合理位置或者区域进行显著标识。

强化内容安全意识，引导科技向善

在对意见稿的官方说明中，国家网信办明确表示，互联网信息服务深度合成活动在服务用户需求、改进用户体验的同时，也被一些不法分子用于制作、复制、发布、传播违法信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等违法行为，不仅损害人民群众的切身利益，甚至危害国家安全和社会稳定，迫切需要划定“底线”、“红线”，规范发展互联网信息服务深度合成活动，维护网络空间良好生态。

事实上，深度合成潜在的内容安全风险，已经在现实生活中有了具体案例。2019年底，一款名为“狗屁不通”文章生成器（Bullshit Generator）的工具在GitHub上火爆一时，甚至登上热搜。用户只需要输入一个关键词，这款“神器”就会快速生成一段语意不通的奇葩文章。有专业人士在拆解其代码后发现这款工具并没有使用任何AI算法，也因此，这个工具生成的文章质量并不高。

然而就是这个“好像说了什么，又好像什么也没说”的废话生成神器，却成功帮助无数大学生“编写”了《防疫大课堂观后感》，甚至其生成的劣质高中议论文竟能获得“中文作文智能批改”AI84.4分的高评分。网友对此调侃道“只有魔法才能打败魔法”。

如此意想不到的用途与结果也让生成器作者在其GitHub主页反复强调“本项目生成的文章真的狗屁不通，只能拿来搞笑，请不要用于正规用途”。GameLook认为，幸好这一神器只是被学生党们用来偷懒，若是真被用于新闻传播领域，其后果或将不堪设想。

与文字相比，语音和图像的合成技术则更易于被不法分子利用。例如通过变声器男扮女装进行婚恋交友诈骗，或是利用图像合成引擎生成合成裸照来敲诈勒索，类似事件近年来屡见报端。而在Facebook和Twitter这样的海外社交平台，合成照片和音视频内容更是常被反华势力用来恶意抹黑中国。

因此，深度合成若是被用于错误的方向，无论对个人安全还是国家安全都会造成巨大隐患。此次网信办的相关规定，将有助于引导深度合成技术发挥“科技向善”的正向作用，加强相关责任主体的风险防范意识，推动这一前沿技术的健康有序发展。

AI也要实名制？虚拟主播或受影响

GameLook注意到，本次意见稿中还明确规定深度合成服务提供者应当依法对深度合成服务使用者进行真实身份信息认证。这也意味着，未来深度合成服务使用者将需要像游戏玩家一样通过实名认证才能正常使用相关服务。

从目前深度合成技术的应用场景来看，GameLook认为，虚拟主播或将成为受此次新规影响较大的群体。

相较于由A-Soul这样由大公司统一招募的虚拟偶像，以个人势为主的虚拟主播往往更容易因其真实身份而引发争议。从三年前“萝莉变大妈”的“乔碧萝事件”到近年来屡屡爆出的Vtuber因操作失误而在直播中意外露出真容的事故，有相当多真金白银打赏过这些主播的付费用户都表示”无法接受与预想中落差过大的主播真容“。