过去一年,AI人工智能在视频图像生成领域发展一日千里,足以以假乱真。只要告诉AI你需要什么视频,它就能为你生成。一些网民利用AI生成的图像散播谣言为自己博取流量,内容越劲爆,吸引的流量越多,殊不知,最终要为自己这样的行为承担后果。
利用AI生成图像散播谣言 以假乱线日上午十点半,一段在短视频平台发布的视频信息引起了重庆市南岸区委网信办工作人员的注意。视频是一段立交桥倒塌的画面,这段视频是网友在3月8日21点51分上传的。上线多。由于立交桥指示牌写着南岸两字,让大量网友将这段视频的事发地与重庆南岸区联系到了一起。
这个视频是一个典型的三无视频,没有标题、没有配文字、没有定位。部分网民根据它上面的字样,就认定是我们南岸区。在视频的转发量、阅读量、点赞量持续上升的同时,发布者没有对视频作进一步地解释说明。这个视频中,车辆上的文字以及车牌都不是通用的阿拉伯数字以及通用的文字,车辆受损以及行人的反应状况也不太正常,AI造假痕迹特别重。重庆市南岸区委网信办工作人员立即向消防、应急部门核实,证实近期重庆南岸区并未发生立交桥倒塌的重大事故,随着深入调查,最终确定该视频是AI生成的虚假消息。
经过调查,该视频是发布者通过AI生成的内容,而且账号上有很多的AI生成视频,涉及打架斗殴、安全事故等不实的信息,视频发布者对自己造谣和传谣的事实供认不讳。标注不是挡箭牌 编造虚假信息难逃处罚
这则案例有一个值得注意的地方,发布者在发布这段视频时打上了作者声明——内容由AI生成,不过最终发布者依然被警方依法作出行政拘留6日的处罚。既然作者注明了这段视频是由AI生成的,是否可以理解为这段视频并非真实存在?但是为何要予以他行政处罚?
首先根据治安管理处罚法的相关规定,网民不得故意散布谣言、谎报险情、扰乱公共秩序。其次,标注AI生成不等于免责,这只是内容标识的合规要求,绝不是造谣传谣的免责条款,生成式人工智能服务管理暂行办法明确规定,使用AI也不能生成传播虚假有害信息,不能以此来抵消编造谣言的法律责任。
标注AI生成绝不能成为挡箭牌,编造虚假信息最终都会面临处罚。再来看两个类似的案例。
重庆涪陵区网民蒋某在3月18日凌晨四点半在短视频平PG电子官网台发布了一段视频,标题为“涪陵灌溪沟农贸市场对面房子倒塌”,视频上线三个小时后,蒋某于早上八点左右主动删除了这段视频。不过这段视频还是引起了重庆市涪陵区网信部门工作人员的注意。
我们发现这条信息以后,立即通过电话与区应急局联系,核实这件事情是否属实。得到的反馈是涪陵区灌溪沟农贸市场没有发生房屋倒塌的事件,我们判断这条信息属于谣言信息,立即将谣言线索转发区公安局联动开展调查处置。经调查,网民蒋某利用AI工具生成房屋倒塌视频在网上发布了不实信息,考虑到他主动删除了视频和在线时间短,且未造成重大网络影响,警方对蒋某进行了批评教育。
类似的AI生成的虚假信息事件发生在四川省武胜县。近期,四川武胜县公安局网络安全保卫大队在网络巡查中,注意到了短视频平台上出现的两段视频,其中一段视频是一名男子身着特种兵服装,身后显示爆炸的画面。另一段视频为“大量军机飞越沿口古镇”的场景。两段视频一经发布便迅速引发网民热议,浏览量快速攀升至4万余次。
我们第一时间依法传唤视频发布者杨某,杨某称为寻求消遣、打发无聊,使用AI软件合成视频发布到网络上博取流量。
我们根据《中华人民共和国治安管理处罚法》,杨某的行为扰乱社会公共秩序,造成不良社会影响,对他进行了行政处罚。AI造谣乱象频发 辟谣压力持续加大
AI技术的飞速发展,让更多的普通人可以轻松掌握并使用它,一些人为了博取流量,使用AI生成技术造谣的现象愈演愈烈。仅重庆一地,去年重庆互联网辟谣平台辟谣的内容中,AI生成的信息就占到总数的近20%。
现在使用AI是一种很常见的现象,AI使用的门槛越发低,第一,制作门槛低,造谣者只需要输入简单的指令,就能快速生成逼真的坍塌事故画面,不再需要真实拍摄或现场剪辑。第二,它的视觉冲击很强,AI生成的画面往往细节丰富,场景真实,更容易让网民信以为真,误以为“有图有真相”。第三,溯源难度很大,由于内容由算法生成,缺乏真实拍摄的时间、地点等原始信息,给核实和追查带来新的挑战。
《生成式人工智能服务管理暂行办法》规定,提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,不得生成虚假有害信息等法律、行政法规禁止的内容。根据上述规定,AI生成虚假有害信息被明令禁止,那么生成虚假有害信息的AI工具是否也要担责?
AI工具生成事故画面本身不算违规,因为AI无法判断用户是用于影视特效、教学模拟等合法用途,还是用于造谣传谣等违法用途。用户自己看、不传播也是合法的。对于这类视频,AI工具的提供者只要打上“AI生成”的标识,避免视频产生误导,就尽到了相应的义务。但是如果用户要求AI生成具体地点或者特定建筑物的事故视频,AI工具的提供者有可能能够意识到存在比较明显的谣言风险,这个时候应对用户进行风险警示,并对明显具有造谣意图的信息进行去除。
在这样的情况下,可能更多的义务就压到了传播端,传播平台要花更大的力气去鉴别、打标,甚至是下架。
用户也要有非常重要的法治意识和底线。首先不能首发上传AI生成的虚假信息视频,那么对于他人发布的视频,转发时一定要慎重,最好是核实后再转发,否则也可能助长谣言传播,需要承担相应的责任。专家呼吁,面对AI生成的“有图有真相”,每一位网友都应多一次核实、少一次冲动转发。技术可以伪造画面,但法律责任和公共安全不容伪造,共同守护清朗网络空间。