“儿童色情攻击”成中国家长噩梦 人工智能暂时没辙

这些儿童邪典视频很可能在机器识别阶段就逃过了审核，目前难有万全之策，依然要靠大量的人力投入。

《财经》记者 陈潇潇 梁辰/文  谢丽容/编辑

让facebook束手无策的“儿童色情攻击”，最近成了众多中国家长的噩梦。

表面上是儿童动画片，但伴随着轻快的音乐，画面突然就出现了裸露的卡通人物，随着剧情发展，卡通人物开始被灌肠、虐待，成人看了都会不适。但这些血腥、色情的内容，都被隐含在小猪佩奇、艾沙公主、蜘蛛侠等经典儿童影视作品中。

（不良视频在视频网站上传播已久）

1月18日，有微博网友举报，这些经过“二次改编”的不良视频已在腾讯、爱奇艺等头部视频网站上传播已久。只要搜索“艾沙”、“蜘蛛侠”、“小猪佩奇”等关键字，相关视频就会处于搜索列表的顶部。

不仅是腾讯、爱奇艺，这些视频几乎“入侵了”所有带视频功能的网站。快手对《财经》记者表示，该公司也发现了少量相关视频，目前已采取了屏蔽关键词等措施。

事件的严重性引起了相关部门重视，1月22日上午，北京市行政市场执法总队发布了关于查禁“儿童邪典视频”工作的紧急通知，要求包括视频、搜索引擎及游戏在内的机构立刻将其下架，并不得传播、利用。

内容审核一直是视频网站的难题。去年年初，类似事件曾让facebook束手无策。Facebook旗下视频网站YouTube，突然涌现了大量儿童不宜的动画。其中以迪士尼动画片《冰雪奇缘》里艾莎公主的改编视频传播最广。视频中，艾莎接受了各种开喉咙、开颅手术，画面血腥，已被浏览了上百万次。

时隔一年，这波“袭击”到了中国。1月23日晚，微博在声明中称，经过技术侦测，发现存在大规模恶意有组织的上传行为。而上传这些内容的账号都是UGC用户（原创用户），部分账号的订阅超过数万，按照这个规模，观看过的儿童不在少数。这些账号不仅从外网搬运，有些甚至还上传了本土制造的不良动画视频。

1月22日，全国“扫黄打非”办公室部署广东省“扫黄打非”办公室对涉嫌制作传播儿童色情视频的广州胤钧贸易有限公司制作传播涉儿童有害视频一案依法进行调查。执法部门已要求该公司将其所有相关视频下线，并依法查封两处生产经营场所，扣押用于生产经营的专用工具和设备，责令当事人停止生产经营活动。

由于不良视频的总量大，分布广，密集上线，变种类型多，腾讯视频已紧急组建了100人的清理小组，进行24小时排查。

截止目前，腾讯下架涉儿童邪典原视频1464条，对23万存疑视频作批量下架，对53万余条视频作撤回复审；封禁恶意账号621个。而微博则称已永久封停上传帐号87个，禁止有害上传及屏蔽搜索关键词4755个。

多数接受《财经》记者采访的视频网站都表示，事件对目前视频平台UGC的审核方法、技术手段都提出了新的挑战。

这些视频大都出现在几个月、甚至半年前，但并没有被察觉。一位业内人士分析说，视频大都被归入了亲子、少儿、动漫分类，至多被标上“恶搞”标签。

据了解，大部分视频网站都采取先机器识别、视频抽帧再人工复核的审核流程。一位图像识别专业人士对《财经》记者表示，人工智能可以对一些确定的角色和剧情进行识别，比如人物是否穿衣等，这种情况下，识别率能达90%。

“但小猪佩奇的情况要复杂得多，”人工智能专家刘锋对《财经》解释，“这些内容和剧情不完全跟色情有关，有些甚至涉及到不健康的世界观，都比简单的识别色情更难。”更重要的是，在以往的数据库中，类似小猪佩奇、艾莎公主这样的内容从未被认为是恐怖、色情，因而由于缺乏模型训练，人工智能无从识别。

此外，场景识别是另一个难点。“这些视频里有人穿着蜘蛛侠服装，很容易跟cosplay混淆。”另一位专业人士对《财经》表示。

因此，这些视频很可能在机器识别阶段就逃过了审核。要杜绝此类事件的发生，目前难有万全之策，依然要靠大量的人力投入。

去年“艾沙门”发生后，facebook曾在已有的4500名视频审核员的基础上，又紧急额外雇佣了3000名。历时半年，至2017年11月才逐渐平息那场儿童色情暴力视频风波，删除的视频超过15万个。

一位行业人士对《财经》表示，在国内，人工核查部分大部分公司都采取外包的形式，优先审查被举报的视频。但现在看来，视频网站需要更多元的手段和处理方式，包括加强对UGC上传者的资质认证。

此外，视频网站的另一个挑战是，视频内容审核应该配合人工智能，不断丰富知识库，提升图像识别能力的同时，人工细化视频判定等级。比如对“不裸露但模拟性交”的情况进行人工标注。

大家都在看：

责编  |  苏月  [e-mail]

◤本文为《财经》杂志原创文章，未经授权不得转载或建立镜像。如需转载，请在文末留言申请并获取授权。◢