关闭引导
Sora来了丨提防文生视频引发诈骗
2024-02-22 08:11:47
广州日报新花城

文生视频大模型Sora 带来的技术变革将深刻改变人们的生活。与此同时,“文生视频”也会带来技术风险和道德风险,专家昨天提醒说,要防止这一技术被不法分子利用来诈骗,尤其是针对老年人的诈骗。

著名人工智能研究专家、创新工场人工智能工程院执行院长王咏刚表示,Sora带来的技术变革将深刻改变我们的生活。现在“眼见不再为实”的东西已经太多太多了,Sora又将这种可能性又扩大了一个数量级。就像我们今天经常会遇到大量经过技术美颜的美女帅哥主播,那明天就必须适应大量AI“拍摄”甚至“臆造”的视频。就像今天已经随处都能看见AI生成的广告文案、招聘信息、产品使用说明书、AI时装模特、AI海报、AI漫画……AI生成的视频今后必然会广泛进入到我们生活中。未来,人人都可以拍摄自己想看的科幻大片,可以在几分钟内为自己的网店产品生成促销广告片,可以让AI生成理想相貌、身材的虚拟演员,可以将自己拍摄的城市景观一键渲染成大唐盛世的繁华风貌。AI生成视频技术的成熟,可以为我们的生活带来更多的想象空间。

作为人工智能领域的资深专家,王咏刚同时提醒说,文本生成视频技术也会带来技术风险和道德风险,这是一把“双刃剑”。AI被坏人利用的风险一直存在。AI模拟一个人的声音,AI图片或视频换脸这样的技术,已经被很多不法分子利用。AI视频生成未来也一定存在此类风险,并且风险更大。比如,有人可能会用文案生成视频来进行犯罪,尤其是针对老年人的犯罪。毕竟,老年人在这方面的信息比较缺乏,那就会让老人防不胜防。


王咏刚

原云天励飞联合创始人、首席科学家、人工智能领域的资深科学家王孝宇也对文本生成视频技术可能带来的风险表示忧虑。他表示,现在AI换脸、AI变声等技术被用作诈骗的消息已经屡见不鲜,如果将来再出现由文本可以生产视频,那对于那些容易上当受骗的群体来说,就面临更大的考验。比如说,如果有人掌握了一个人的照片或部分视频片段信息,然后根据文本来生成新的视频,再将这些视频用于犯罪,那就可能带来的新的风险,对于这样的风险,必须高度警惕。比如,如果根据老人的子女的照片或视频来生成一段新的视频,比如,老人的子女出现车祸之类,以此来对老人进行诈骗,那风险是很大的。毕竟,老年人的防范能力较弱。

王孝宇表示,如果文本生成视频技术一旦被推广,那么,视频证据的法律效力也会面临更大考验。比如,在提交视频证据时,就必须对视频证据的真伪进行鉴定。


王孝宇

王咏刚认为,防止一项AI技术被滥用,必须在几个方面同时努力:首先,科研与工程人员需要在技术层面严格限制AI生成视频时的内容可控性与合规性,利用AI技术识别危险的生成指令,拒绝生成有违法律、道德的视频内容;其次,科研与工程人员需要加紧研发AI视频的甄别技术——本质上,这是一种用AI来判定AI生成结果的技术,或者说是一种AI对抗技术;此外,政府在法律和监管层面,需要针对新兴的AI技术不断完善相关的立法和执法工作,从管理上为AI视频生成技术划定一个“安全界限”。

文/广州日报·新花城记者:肖欢欢 实习生:祝明月

图/广州日报·新花城记者:肖欢欢 实习生:祝明月

视频/广州日报·新花城记者:肖欢欢 实习生:祝明月

广州日报·新花城编辑 蔡凌跃

@广州日报 版权所有 转载需经授权