开元体育他们被AI偷了脸黑灰产正在兜售杨幂、迪丽热巴、刘亦菲等明星或者人物、企业家的AI脸,只需要1280元。《每日经济新闻》记者(简称每经记者或记者)调查发现,AI脸在实时视频通话和直播中都能“瞒天过海”,微信、抖音、快手、小红书等平台也难以识别。
记者暗访了解到,与之前的网络换脸完全不同,新技术实现了声音与图像的实时同步克隆,用户只需模仿目标人物的发型和服装,AI生成高仿真语音和面部表情,即可完成全套伪造。这种技术的成熟使得伪造视频在视觉和听觉上都达到了近乎完美的程度。新技术是通过“绑架”手机摄像头,从而绕开了平台算法监测。通过挥手、大幅遮挡来识别真伪的传统手段,已完全失效。
面对如此逼真的实时AI变身,普通人如何自保?抖音、快手、微信等平台作为亿万用户的守护者,又该如何提升防御能力?站在新的十字路口,我们是否已准备好迎接这一挑战?
在AI换脸技术方面,早期的换脸模型依赖于目标面部的清晰坐标(面部地标)进行操作。因此,普通人可以通过一些简单的方法揭露伪造内容,例如要求视频通话中的对方用手在脸上划过。由于手部动作会遮挡面部地标,导致换脸模型无法准确识别和渲染,从而破坏换脸效果。然而,最新的AI换脸技术已经克服了这一缺陷。
记者暗访了解到,最新的AI伪造技术实现了声音与图像的同步克隆。这种技术的成熟使得伪造内容在视觉和听觉上都达到了近乎完美的程度,进一步增加了识别的难度。
打开“抖快小”等平台搜索AI换脸、AI视频通话等关键词,发现不少IP主发帖,当中暗藏着以此牟利的黑灰产公司等信息。
“照片由你提供,中外明星、名人或者企业家以及素人等,我们都能做。你怎么用,自己把握,我们不会去打听,也不管。”《每日经济新闻》记者以消费者身份暗访时,一家AI换脸公司的工作人员徐盛(化名)表示,“
然后你就可以用这张脸在微信、QQ等平台视频通话,去抖音、快手等直播也是可以的。定做好的‘人脸’永久使用,多做几张,我给你优惠,3张以上1600元,你可随时切换‘脸’来用。”
从微信等平台给记者打来视频电话,其间用力拍脸、按鼻、露齿以及大幅度的脸庞遮挡等,均未露馅。
据徐盛介绍,开年后前来“画皮”的人很多,公司接单量较大,超负荷运行。“光我就接了近1000个,我们这里有七八台设备,每天要做到凌晨五点。你想要名人脸,可以先发我名字,如果是我们公司库中已有的(客人定制过的),可以优惠出售,这样大家都方便开元体育·(中国)官方网站。
在谈及公司的“定制脸”时,徐盛表示,目前以素人脸为主,“名人的话,在平台上直播容易被举报。”
暗访中,徐盛转场不同平台向《每日经济新闻》记者打来视频电话,甚至“现身”直播间,都畅通无阻。在这些“实时流”中,相关画面未有任何风险提示或被切断。“我们还没有收到有人被(平台)发现的反馈,
“我们不仅支持在微信、QQ、抖音、快手、小红书上进行视频通话或直播,一些海外平台,如WhatsApp、Telegram、Line也可以。”徐盛告诉记者。
对此,中国人民大学民商事法律科学研究中心副主任姚欢庆在接受每经记者采访中提醒,当这种技术主要用于“绑架摄像头”的效果时,非常有可能构成“提供侵入计算机信息系统程序罪”。在构罪的情况下,软件的技术开发者、用户都很难脱罪。
平台对AI生成的深度伪造(包括AI换脸和克隆语音等)难以实时检测,因为平台并非为鉴证级别的(面部或音频)分析而设计。
以克隆语音为例,加密使得扫描变得不可能,而压缩则扭曲了语音信号,让检测更加复杂,此外,计算负担也很高。”全球知名科技公司Sensity AI联合创始人弗朗切斯科·卡瓦利向《每日经济新闻》记者表示。Sensity AI专注于网络安全和人工智能领域,特别是通过AI技术检测和预防深度伪造(Deepfake)等威胁。
2024年度《人工智能指数报告》(AI Index Report 2024)指出,2023年报告了123起人工智能滥用事件,比2022年增加了32.3%。自2013年以来,这类事件增加了二十多倍。知名的例子包括由AI生成的美国明星泰勒•斯威夫特,这一具有性暗示的深度伪造视频在网上广泛传播,反映出AI在隐私、安全等方面的风险。该报告由“人工智能教母”李飞飞联合领导的斯坦福以人为本人工智能研究所(Stanford HAI)发布。
世界经济论坛官网今年1月发布的报道指出,生成式人工智能(GenAI)的兴起使欺诈行为以前所未有的速度增长。2023年,利用深度伪造技术绕过身份验证的事件激增704%。
但凡采用AI技术模仿明星或者名人的声音或者肖像,用于通话和直播带货,使得他人产生误认的效果,涉嫌违法,并至少构成一种不正当竞争行为,从而要承担停止侵权、赔偿损失的法律责任。
数据显示,截至2024年三季度开元体育·(中国)官方网站,微信月活跃账户数达13.82亿。2月18日,专注移动互联网数据分析的第三方机构QuestMobile发布最新数据,2024年12月全网月活跃用户规模再次刷新历史纪录,达到12.57亿。其中,抖音、快手、小红书的月活跃用户规模分别为9.78亿、5.87亿、2.25亿。
因为换脸服务虽然也可以用于正当目的,但更大的概率是用于不正当的活动。当然,这部分需要立法上明确。即换脸服务应当是一种特许经营,类似于开锁,需要获得政府的准入。如果是这样,
针对技术升级后的“AI画皮”情况,抖音方面相关负责人向《每日经济新闻》记者表示,“我们平台不鼓励对‘AI换脸’等可能涉及侵犯他益的内容进行宣传、推广或教授。对于宣传推广AI换脸软件或教学等内容,以及未经他人授权或同意,利用他人形象创作可能误导观众为该人物本人发布或真实发生的视频内容,均会予以相应管控。”
在直播场景下,抖音也全面禁止不当使用AI换脸技术,因为会造成用户的混淆认知。并禁止以猎奇、夸大噱头等对AI技术不当宣传行为。上述负责人表示:
“我们持续治理‘AI换脸’相关内容,针对‘AI换脸冒充他人’‘违规提供AI换脸服务’等内容,平台会根据规则进行相应管控。”小红书方面相关负责人向记者表示。
微信视频创作安全中心相关负责人亦告诉《每日经济新闻》记者,对于涉及真人出镜的内容,无论是否使用 AI 技术制作,若存在冒充他人的倾向或用于商业用途,均需提供证明材料,确保为本人真实身份或已获得相应授权。“完全由 AI 生成的人脸内容,需提交AI制作过程的相关信息,并使用平台提供的功能进行显著标识。”
同时,微信、“抖快小”等方面的相关人士均向每经记者表示,若用户发现平台上出现“AI换脸”相关的违规内容,都可通过站内官方渠道进行举报。
“为切实保障用户权益,维护平台健康生态,我们明确规定:严禁售卖 AI 换脸及与之类似的商品。”抖音电商相关负责人在接受记者采访时表示,像利用AI 技术进行换脸、换声,以致干扰、误导用户判断的这类商品和信息,均被平台列入违禁范畴。一旦发现商家存在违规操作,平台将秉持从严原则,依据相关规定予以处理;
尽管平台们十分重视“AI画皮”带来的隐患,但采访中,多家平台和技术专家均向《每日经济新闻》记者坦言,
于平台而言,想要在数百万个同时发生的视频通话(直播)中,运行深度学习模型具有很大的挑战性,成本也较高。
要阻挡实时AI深度伪造的攻击,最大的技术挑战在于“隐私悖论以及(平台)与攻击者间的猫鼠游戏”。
平台无法在不违反隐私法律的情况下扫描加密通话,而攻击者则不断改进AI生成的画面、声音以逃避检测。
在看过《每日经济新闻》记者提供的“AI画皮人”后,有行业人士提出了担忧,“AI换脸人”是否能绕过系统的“真人验证”。未来是否会发生伪装成去世老人“吃空饷”,而一些空壳公司则可能借用AI换脸注册后逃避债务。
卡瓦利向每经记者解释道,大多数系统只是检查出现的脸部和声音是否匹配,而不会检查它们是否来自真人。
卡瓦利预测,“AI深度伪造技术会变得更成熟。模型将继续缩小规模,使实时、超逼真的深度伪造通话对任何拥有智能手机的人都可以访问。我们还将看到多模态深度伪造——语音、视频,甚至行为生物特征被合成在一起,创造出完全虚假的身份。防御措施必须同样快速跟上。”
AI技术在推动社会生产力发展的同时开元体育·(中国)官方网站,也正以惊人速度沦为新型犯罪手段。姚欢庆在接受每经记者采访时指出:“
姚欢庆认为,“AI数量的大幅增长跟技术的发展是密不可分的。作为者和整个社会,其实就是一个道魔斗法的过程,这当中,网络导致技术追踪的难度,以及者利用不同法域导致的管辖尤其值得重视。并且,鉴于人工智能技术的滥用具有跨境性质,需要国际合作机制解决,否则很难很好地保护权利人的利益。”
“AI行业可结合司法规范,统一建立便于监管识别的AI内容标识,便于追根溯源。同时,要考虑到AI技术不断迭代、传统审核手段应对的局限性,审核及监管部门需要升级技术,关注技术防御的迫切性。”贾玉倩建议,应从源头肃清技术滥用风险,同时,平台方应加强传播的信息审核,强化通过AI合成的提示标识,并对用户做好此类技术存在侵权风险的教育工作。
Copyright © 2012-2023 开元体育·(中国)官方网站 版权所有HTML地图 XML地图txt地图 沪ICP备12033155号-1
收到你的留言,我们将第一时间与你取得联系