儿童邪典视频背后的“无主之恶”
从诸神云集的奥林匹斯山，到二战中挣扎求存的敦刻尔克，再到隐匿在虚拟世界的网络攻击和反攻击，善恶交战从未停止。
然而，善恶对抗的本质正在被“工具”改变。
对正义一方来说，可怕的不是敌人太强大，而是找不到一个明确的敌人。某些情况下，威胁并非来自某个想毁灭世界的疯子，威胁潜伏在看似平凡、并无恶意的日常生活里。
近期引起大范围舆论关注的艾莎门（Elsagate）儿童邪典视频事件正是如此，我将它视为一种“无主之恶”。
“无主之恶”有两层含义。
第一，恶的源头十分分散，它表现为高度信息化社会中一种特殊的协作和传播模式：“Stand Alone Complex”（孤立个体集合体）。
第二，促进恶发生和传播的机制，最开始被设计出来时是中性，甚至是出于好意的，最后却“事与愿违”地酿成恶果：在“艾莎门”中，流量经济+智能推荐算法成了侵害儿童的帮凶。
对于这种无主之恶，大部分人没有应对和处理的经验，所以类似事件出现时，总是阴谋论满天飞、粗暴的“一刀切”大行其道。
是时候，我们该从“打Boss”的认知框架里跳出来了。
在新型的恶面前，我们必须找到新的对抗方式。
一次无人负责的恐袭事件
在讨论“无主之恶”前，我们先来看看艾莎门视频的来龙去脉。
（注：如果还没有看过Elsagate的具体面貌，以下内容可能会让你很不适，提前预警。）
1月16日，一篇翻译自外网的微博长文《一群变态锁定观看YouTube的孩童，我以前为他们工作》使一座被称为“Elsagate”（艾莎门）的冰山浮出水面。
这些充斥着针管、怀孕、尸体、血腥、性暗示等极为恶心、变态的内容的视频，却被YouTube等网站平台打上了“儿童”、“母婴”等标签，推荐到孩子们眼前。
在这里，Elsa公主怀孕是家常便饭。
面目可憎的小丑会割下天线宝宝的头。
昆虫和粪便被当做食物。
这类找不到单一制造者和源头的视频被统称为“Elsagate”，事件爆出后引起了大范围关注。人民日报、新华社等多家媒体纷纷报道，知乎上关于“如何看待Elsagate事件”的问题已有800余条回答，接近500万次阅读。
这些视频的危害性远不是“吓到孩子”这么简单。
Elsagate类的视频经常使用鲜艳的红、蓝、绿、黄、粉红等颜色。这些色彩强烈地刺激儿童大脑，加深不良行为的印象，甚至导致成瘾。
而这些视频的主角，又是孩子们熟悉和羡慕的Elsa(《冰雪奇缘》女主角)、蜘蛛侠、米老鼠等卡通形象。这一方面让视频被算法归类、推荐到儿童频道，另一方面也大大刺激着孩子们的模仿行为。
美国著名心理学家班杜拉曾经做过一个叫“波波玩偶”的实验：将48个孩子分成A、B两组，在A组面前，成人会表演殴打、侮辱、锤击波波玩偶；B组则没有观看这些。而当孩子们进入一个有同样玩偶的房间，A组的孩子会非常开心地按照成人的样子殴打这个玩偶，B组则很少会有攻击性行为。
Elsagate类视频也有“波波玩偶”效应：知乎上，一些网友提到孩子在观看Elsagate类视频后，出现了成瘾反应甚至暴力倾向：
专门研究儿童暴力、儿童性虐待现象的Judith Reisman博士说：这些视频完完全全就是为了将儿童引导到性，暴力，药物，虐待。从业几十余年来，她见过恶心中的恶心、罪恶中的罪恶，但像这些Elsagate视频，是前所未见的“恶毒、残忍、卑鄙”。
而现在，空前恶毒和残忍的Elsagate视频在YouTube上的单个最高点击已超过两千万，总点击量上百亿。国内主流视频平台爱奇艺、腾讯、优酷均发现了大量类似视频，甚至蔓延到今日头条和快手。
家里的沙发上、地铁里、电梯里……当你身边懵懂的孩子盯着屏幕移不开眼时，他可能就是在看Elsagate类视频。
“Stand Alone Complex”（孤立个体集合体）
无主之恶的第一层含义是：让家长、视频网站和全世界监管部门头疼的，传播量巨大的Elsagate却很难找到一个单一的源头：野火烧不尽，春风吹又生。
YouTube在11月删除超过15万个视频，查封了270多个账号。但就在今天，我们仍看到类似的视频在源源不断地出现。
这很像15年前的科幻经典《攻壳机动队》剧场版中，描述的一种信息化社会的新型犯罪：“Stand Alone Complex（孤立个体集合体）”——一些事先并不存在联系的孤立个体，有意或无意做出类似的行为，从外部看是一场有组织的阴谋，但你却找不到始作俑者。
《攻壳机动队》里的Stand Alone Complex发源于“笑脸男事件”。
一名超A级黑客曾出于正义感入侵了一位要人的大脑，令其在电视面前说出某个秘密。逃脱时，这名极客用笑脸图标遮蔽自己，成功从整个网络中消失。
笑脸男
此后，出现了大量自称“笑脸男”、谋杀警方要员的模仿犯罪。参与进来的众多"笑脸男"，动机、诉求各不相同，却共同造成了巨大的社会震动。
Elsagate儿童邪典视频事件，正是一个“笑脸男”式的行动：“母版”不明的拷贝大量充斥网络。
你无法看到面目统一的"坏蛋"，恶意此起彼伏地涌现——到现在为止，在这场被一些人称为大规模“儿童恐袭”的事件背后，居然找不到一个明确的“恐怖分子头目”。
最初被《卫报》、《纽约时报》等媒体爆出具有不良诱导内容的YouTube频道叫“webs and tiaras”，但今天，仍能在YouTube上搜出大量仿号，成立时间从2016年、2017年到最近，不一而足。
除视频外，一些游戏平台和应用商店甚至App Store均发现了大量与该类视频画风雷同的游戏软件。
全球范围内的模仿者更难抑制。在国内，一些人最初只是搬运YouTube上的内容，加中文配音，接着开始有公司生产本土邪典视频。
比如以下这种让中国孩子参与拍摄的真人秀。优酷、快手上都有大量类似内容。动画形象也从Elsa、蜘蛛侠扩展到中国儿童更熟悉的光头强等。
这些账号背后是否有关联？现在不得而知。可能是有组织的行为加无组织的模仿的混合体。
Stand Alone Complex还有一个特点：在模仿和跟风中，初始动机变得十分模糊。
最直接的猜想是经济利益。这些制作邪典视频的公司很有可能是瞄着点击量和广告分成的收益。一些视频中还会直接推广玩具，似乎是为了带动销量。
在有关部门下令整改后，曾在国内平台发布大量相关视频的“欢乐迪士尼”（现改名为“深海5万米”），表示自己只是想要冲击点击量。
但如果只是为了钱，难以解释古怪的工作状态，收益似乎也难以覆盖成本：
《一群变态锁定观看YouTube的孩童，我以前为他们工作》中，作者陈述的工作状况
令人匪夷所思的是，一向对版权高度看重的迪士尼和漫威公司，面对如此大规模的侵权，目前却没有采取有力措施。
作恶者分散、模糊的动机，以及从一个点到多点的渐进式传播，使邪典视频潜伏了很长一段时间——早在2016年6月，英国《卫报》就报道过YouTube 上诱导性视频，但直到去年7月，Elsa公主被各种开喉、开颅的视频被《纽约时报》报道，Elsagate才引起了大范围关注。等这件事引爆中国舆论时，又已是半年后的2018年1月。
这正是Stand Alone Complex的可怕之处：如果恶魔只是一个人，一个单一的组织，我们有明确的对抗目标；而当恶的源头分散为无数个体，且一点点在网络里扩张时，我们很难及时反应。而等细小而隐秘的恶，累积成势时，已很难遏制。
一万个沙漠里的游击队员，比一个强大的“本拉登”更有破坏力。传统的“打BOSS”思维已经不灵了。
推荐算法 + 流量经济：无意识的帮凶
“无主之恶”的第二层含义是：我们习以为常的事物，可能无意间成了恶的帮凶。一部分参与其中的作恶者是无意识的。
在Elsagate事件中，帮凶是智能推荐算法+流量经济。
这套机制最初被发明时，任何参与其中的人，都不会想到自己的智慧有一天会被用来侵害儿童。
如今备受争议的YouTube、Facebook、今日头条、微博等公司，会冤枉地认为，我们只是想赚钱，这在商业社会再正当不过了。
怎么赚钱？——想方设法地吸引流量，提高用户停留时长，从流量上赚广告收入。
怎么更低成本、更高效率地吸引流量？——智能推荐算法，让计算机学习用户对内容的喜好，你越喜欢什么，就越给你推什么。
十年来，这套机制越来越纯熟，也许你男友都不知道你情人节想要什么，亚马逊却知道。
YouTube拥有据称世界上最复杂的推荐系统。这个系统简单来说分为两层：第一层，从后台视频库中选取数百万个相关视频进入“候选视频生成层”；第二层，根据用户的观看历史抽取几百个视频传输至“排名层”，再根据综合打分选出十几个视频推荐给用户。国内的视频网站，也运用了类似的推荐方法。
sagate聪明地利用了这个推荐系统：通过大量动漫角色的名字以及打上搞笑、儿童等标签被算法自动判定为儿童视频，并经常在推荐顺序中靠前，儿童只要点进一个，网站就会推荐同类型的视频一个接一个地播放。
Elsagate是流量经济和算法恶果的极端体现。其实，即使是成年人，每天也都在受到更多“无伤大雅”却实实在在的损害和困扰。
还记得那篇轰动一时的《残酷底层物语：一个视频软件的中国农村》吗？作者在写文章时点击了大量“儿童喝酒”、“生吃死猪”、“早婚”题材的短视频，他的快手推荐页成了下面这幅模样：
《连线》杂志的马特・霍楠（Mat Honan）曾做过一个试验，他计划在自己的 Facebook 上连续点赞 48 小时，只要系统推荐就点赞，想看看最后Facebook会给他展示什么。然而短短一小时后，马特的信息流里已经没有人类了：全是品牌推广和广告。
睡觉之前，他尝试点赞了一条支持以色列的消息。次日早上，他的信息流内容完全转向极右。
后起之秀今日头条，更是把这种智能推荐、分发的杀手锏玩到了极致。同一个APP，却千人各不相同，张一鸣创业时引以为傲的“一整层”工程师，大部分都是在研究精准推荐算法。你爱看八卦，就天天给你八卦；你想开车，就每条都是老司机；你爱国、你粉红，就满屏都是热血新闻。
知名互联网评论家Keso曾说：“准确地抓挠人性弱点并不等同于用户价值，勾引用户将大把的时间抛洒在层出不穷的无聊事情上，并不等于用户价值，这只是一种变相的用现代化的传播手段制造出的价值幻象。”
你是谁不重要，你想成为什么样的人也不重要，你会消费什么才重要。
这种价值观支撑今日头条和Facebook成为估值百亿美金和千亿美金的庞然大物，却不管置身网络之中的用户被困在“回声室效应”里：获取的信息都在支持已有的知识与观点，不能开拓眼界，反而固步自封。
互联网曾经的愿景，是把世界连接成“地球村”；现在却以“个性化”的名义划出一个个孤岛。
在整个互联网发展史上，流量加算法的机制就是最初夏娃吃下的那颗苹果——从此，互联网走出乐园，进入人间，巨头涌现，高墙垒起。
这可不是技术许诺给人们的开放和自由。
新的反击方式
新的技术环境产生了新型的无主之恶，我们也必须用新的方式来反击。
监管需要吗？一定需要。
对于任何内容平台，监管必不可少。因为公司本身是商业利益驱动的，靠流量、广告吃饭，没有外力，他们很难自己打掉自己的饭碗。
专注视觉计算的泛化智能CEO王汉洋告诉「甲子光年」，即使视频识别技术能够准确鉴别Elsagate类视频，但“如果监管不强制要求，不会有网站主动做这个，不赚钱”。
仅有监管足够吗？一定不够。
举个例子：此次Elsagate发酵后，我国监管部门反应得很快，全国“扫黄打非”办公室已部署开展深入监测和清查，大量有害视频被下架。但这仍然是“一刀切”，锋利，也有误伤。目前在国内视频网站上，搜索“elsa”“爱莎”不仅看不到邪典视频，正常的视频也完全看不到了；在百度视频上，“小猪佩奇”、“蜘蛛侠”等关键词也搜不出任何内容。
长远来看，不可能出来一个东西，就禁掉一片。所有人都要意识到，这是一场持久战，不可能一次告捷。
针对作恶源头在时空上的分散性，「甲子光年」认为，最佳的解决方式是：做好“多层防护漏斗”——在整个内容生产、分发、传播的过程中多点着力，融合技术和人力，且做好动态预警、应对的准备。
第一道关卡是视频平台的审核。
很多人在了解Elsagate事件后，第一反应是：难道没有审核机制吗？
当然有，但仅在YouTube上，目前全球平均每分钟就有长达 400 小时的视频被上传，人工审核是绝对审核不完的。所以视频网站的大部分审核由程序根据文字描述和截图识别完成。如果发布人员在提交视频时精心伪装，很容易就能蒙混过关。
而技术将扮演越来越重要的角色，因为机器可以不断“学习”。
视频识别技术，是通过深度学习，对标注好的图片的特定内容进行分类学习，训练出可以识别特定特征的模型。在应用时将视频截帧，识别出每一帧内容，最终便可转化为整个视频的识别结果。
理论上来说，只要标注清晰，数据足够，识别率就会相应较高。比如“鉴黄”，机器就经历了自我学习的过程：一开始，机器仅仅能通过识别图片中特殊颜色的面积进行鉴别，想蒙混过关的人只需加大图片上下黑边的面积就能通过审核；后来，通过学习海量标注过的黄色图片，鉴黄的准确率才慢慢提升，时至今日，多家主流公司都宣称已经达到了99%以上的准确率。
但识别Elsagate比鉴黄更难：因为机器很难判断“边界”。
在“鉴黄鉴暴”领域有丰富积累的图普科技的运营负责人姜泽荣告诉「甲子光年」：一部分明确的画面特征，比如断头、血腥、特定人物形象怀孕等，可以有效识别；但假如一个打针的场景，如果人都很难把它和正常打针相区分，机器也很难进行辨别。
云从科技研究院院长周翔说：“这些视频中有的信息非常隐蔽，人一眼就能看懂，是由于人本身有多年社会经验，而计算机是不懂得这些经验的，它没有人生阅历，得不到图片和视频的内在意义。”
在机器审核这条路上，马拉松才跑了不到十分之一。
第二道关卡是传播和分发。
这涉及到对整个智能推荐算法的改进。在热闹发展了近10年后，流量经济加推荐算法带来的社会困扰开始显现。
2016年美国大选期间，俄罗斯透过 Facebook 假帐户，花了 10 万美元传播干预选举的假新闻，使得“教皇支持特朗普”、“奥巴马不在美国出生”等假新闻高高飘在首页；去年，美国非盈利新闻媒体ProPublica在Facebook上做了一个实验，花30美元透过“纳粹党”、“亲卫队”等几个仇恨犹太人的关键词，成功给超过19万目标用户精准推荐了广告。
算法推荐带来了层出不穷的“标题党”和假新闻。面对质疑，张一鸣和扎克伯格曾经出奇一致地表态：我们是技术公司又不是媒体，一切由算法完成，不进行人工干预。
然而如今，Facebook被叫到国会参加听证会，之后宣布将对可信新闻源进行排名来对抗假新闻。
今日头条更是在被互联网信息办公室约谈后，开了24个小时的天窗，紧急招募了2000位内容审核编辑。
第三道关卡是对已发布视频的识别和删除。
上传阶段的视频识别目前有一个瓶颈：深度学习需要根据已有的数据来学习，而在Elsagate出现之前，不可能有人告诉机器这类视频是不对的。
因此，视频发布之后，借助早期用户的反馈，动态地为视频增加标签，及时发现不良视频并给予处理，便可以防微杜渐，防止不良视频蔓延。
「甲子光年」认为，平台其实可以设计一套新颖的激励模式，及时发现已上传的有危害的视频：比如，当用户率先发现某个不良视频，可以主动给其打上标签；当用户贡献的标签得到后续用户的认可和支持后，用户可以按照贡献分取适当的流量收益——这能激励所有用户参与到内容环境的监测中，内容在动态之中得到健康和过滤；而当某个视频最终被判定为不良视频时，发布者将得到扣款和惩罚。
没有最终的胜利，只有持续的战斗
后来导致恶果的东西，最开始可能看起来理所应当，无可置疑。
就好像你很难把现在的混乱怪罪到最初塑造流量经济和推荐算法这种高效工具的人或组织身上。机制的强大之处就在于，一旦被发明出来，就具有了某种不受人控制的独立性。
在车祸事故中，时不时有司机碾压伤者致死的新闻：如果伤者死亡，司机只需一次性赔付一笔赔偿金，而如果伤者重伤住院，司机需要养他一辈子；更长的产假，初衷是保证妇女权益，现在却成了一些用人单位“不要结婚未孕妇女”的根源——所有无辜的机制，都可能产生凶险的恶。
一个极端的故事是“盲井”。
2013年年末，山西的一处矿井发生困难，一位工人死亡。但当矿厂经营者见到赶来料理后事的家属时，却疑惑地发现，他们只是匆匆看了一眼尸体，就开始平静地谈索赔条件。
这牵出了一个惊天大案：原来这个团伙一直诱骗人到煤矿打工，在井下杀死被害者，再冒充家属找矿主赔钱。杀人越货的勾当干了十二票，只有一次未遂。
哪怕一种机制再必要和完备，作恶的人，总会想尽办法钻漏洞。
在技术赋能每个人的时代，这更加提醒机制的设计者和每一个使用者：手握利器，杀心自起。
面对系统中不断涌现的恶，面对分散在各处的“Stand Alone Complex”，不要忘记我们自己也是可以行动的个体。
联合起来，积累力量，在新的善恶交锋中，不会有最终的胜利，只有持续的战斗。
从这个意义上讲，唯有“无主之善”，才能真正全面动态地对抗“无主之恶”。
本文转自微信公告号“甲子光年”（ID：jazzyear），作者小青狐，芥末堆经授权转载。