财知道 | 雷军怒了：不是我说的！
一张照片，一段语音，一阵调侃，近期，短视频平台上出现了大量“雷军AI配音”的恶搞视频。在视频中，“雷军”宣布捐款给某大学、用小米SU7撞人、远程控制小米手机进行爆炸等。截至目前，平台上相关话题浏览量过亿。在雷军的微博评论区中，连日来，不断有人留言询问此事。10月7日晚，针对网友“为何骂人”的询问，雷军回复了三个愤怒表情↓↓↓声音克隆现象已非稀奇事，但泛滥成灾的后果，才刚刚显露端倪。雷军之怒，能阻止AI合成滥用吗？前段时间，直播头部公司三只羊还未走出「月饼门」，又陷入「录音门」。一段疑似三只羊高管的录音内容被曝光，内容低俗，涉及到多位高管、主播，但据警方调查，音频内容不实，为 AI 伪造。彼时，众人无法相信，如今的AI能够到达如此以假乱真的地步。此次雷军AI语音的泛滥，令大家对于AI的认识更近了一步。财知道君尝试着用语音生成网站生成了一段周杰伦的语音，整个过程从登录网站到生成语音不到一分钟，几乎没有任何门槛，只需要用手机注册网站就行。虽然生成的效果有些瑕疵，但几乎实时生成，500 字内免费，语气、语调也比较自然，不注意分辨，确实可能误认为这是周杰伦本人发出的声音。不仅仅是周杰伦，进入声音克隆网站，你可以随意筛选各种名人的声音，有些网站还支持用户自行上传人物/角色的声音，通过简单的训练，就能形成相应人物/角色的语音库。瑞莱智慧算法科学家陈鹏在接受第一财经采访时表示，之前捕捉声纹信息，需要几分钟、几十分钟的语音，但现在可能半分钟、几十秒，就能捕捉个大概。多接几个骚扰电话，你的声音或许就泄漏了。这也就意味着，足够的语料，就能够令AI快速生成一个人的克隆声音，在互联网社会，这无疑面临着不少风险。尤其对于公共讲话颇多的名人而言，语料极易获取，甚至称得上遍地都是。名人语料的易得性，令克隆其声音的过程变得更简单，也带来更多隐患。
在这次雷军AI语音出圈的过程中，有一类最混淆视听：用 AI 伪造雷军回应，前面画风正常，澄清事实，夸网友有才，让大家谨慎辨别，无论是内容、人设还是语气，都酷似雷军本人，但后半段画风突变，近乎”口吐芬芳“，让人猝不及防。这些视频不仅不强调是 AI，还言之凿凿说自己是雷军，配图用了真人照片，反复在侵犯名誉权、肖像权的边缘试探。不仅仅是国内，海外也有许多AI语音伪造的案例。在今年的外滩大会期间，全球Deepfake攻防挑战赛出题人姚伟斌公开表示，AIGC的生成伪造，今年的攻击量比去年大概增加了10倍。今年1月21日，新罕布什尔州的一些选民称接到了“拜登总统”的自动留言电话，告诉接听者不要在新罕布什尔州初选中投票。后来调查发现，这段音频是用 AI 工具 ElevenLabs 伪造的，目的就是要干扰选举。伪造这段声音的用户提到，克隆拜登的声音，他只花了不到 20 分钟，以及1美元。ElevenLabs 也为此做了些防范措施，包括禁止用户上传或克隆某些名人和政客的声音。然而，今年 3 月，一位记者发现，只需在上传文件的开头添加一分钟的沉默，就能绕过规则，克隆特朗普和拜登的声音。用AI攻克AI，是目前识别和防止AI语音滥用的重要方法，相比于人工审核，这方面现在的准确度和效率都更高。今年2月，OpenAI团队推出“AI生成内容识别器”，旨在识别文本是由电脑自动生成还是人类撰写，其本质上是一个区别真实内容和AI生成内容的分类器。不过，OpenAI在博客中指出，此识别器对AI撰写内容的检出成功率仅为26%。今年9月，网信办发布的《人工智能生成合成内容标识办法（征求意见稿）》提出，AI生成合成内容，应当添加显式标识和隐式标识，前者可被明显感知，后者添加在元数据中。时间再往前，今年 4 月，全国首例「AI 声音侵权案」一审宣判，明确认定，在具备可识别性的前提下，自然人声音权益的保护范围，可包含 AI 生成声音。什么叫可识别性？除了声音的使用情况，本起侵权案还提到了一个接地气的评判标准：相关领域普通听众能否识别。比如雷军 AI 配音，很多视频虽然内容一听就不像雷军的风格，但声音确实和雷军本人相近，普通听众能够认出这是雷军的声音，就属于“具有可识别性”的声音。当下，AI 技术越被广泛地使用，就越难防止被滥用。正因如此，对其应用的规范就应该越严格。参考来源：财联社、澎湃新闻、科创板日报、第一财经
广州日报新花城编辑：刘成玉
打开广州日报新花城，享受流畅体验
