封号删文下架，监管升级，内容风控，控什么？怎么控？
近年来，随着众多内容违规事件的出现，内容风控逐渐被提上日程。2019年7月24日，官媒人民网首次向社会发放了一批《互联网内容风控师（初级）证书》，此证书是“新媒体内容风险防控实战训练营”的培训认证，标志着中国互联网开始正视文创内容的风险控制，这也是进入自媒体时代以来早晚都要面对的难题。
△《互联网内容风控师（初级）证书》
内容风控听起来有些“概念化”，但是它却是从无数内容违规案例中总结出的宝贵经验，打从互联网诞生至今，内容违规风险就一直困扰着众多内容平台。
△腾讯风控的广告
2018年3月，国内独立游戏平台TapTap被要求停业整顿三个月，并处30万人民币罚款，起因是平台内部分游戏未经审批，同时也包含暴力和色情内容。
2018年12月，B站ASMR专区因涉及色情内容而下架，此前ASMR专区人气火爆，头部视频点击量可达百万级，违规之后直接砍掉整个专区。
4月27日，游戏《迷你世界》遭新京报曝光称其存在涉黄信息，其后游戏方很快做出回应，主动在全渠道下架了该作，根据游戏方（深圳迷你玩公司）之间提供的数据显示，截止到2019年10月时《迷你世界》的月活（每月活跃玩家）已经突破8000万人，这样一款现象级作品遭遇下架整改，营收损失不言而喻。
纵观大部分内容违规案例，大多都与色情、暴力、政治等有关，而且很多违规内容都源自国外，比如早先在小说网站遭到大量下架的耽美小说（同性恋文学）还有B站的ASMR音频，就都是发源自日本的小众文化，流入中国后短期内迅速传播壮大。
还有各类违规游戏，比如TapTap上的涉案游戏都是国内独立游戏，这些游戏由欧美厂商研发，在玩法和画面上都是按照欧美法律设计的，引入中国时没有经过官方审查，直接与中国玩家见面，就很容易产生违规风险。
不仅仅是中国，其他很多国家与地区都有自己的规则，比如近日顽皮狗的《美国末日2》在中东地区就遭到了下架，原因在于ESRB（娱乐软件分级委员会）对该游戏的评级为包含裸露与性内容，这与中东地区的法律相悖。
△《美国末日2》在中东地区遭遇下架
相反，同样在阿拉伯国家发售的PlayStation游戏《对马之魂》就没被下架，因为它针对中东玩家做了本地化改动，去掉了可能违规的内容。
对国外传来的文化产品来说，内容违规风险会更大一些，外来文化想要攻占异国市场，就必须要恪守当地内容法规。
这是国外内容引入方面的违规风险，近年来国内互联网企业蓬勃发展，内容深耕不断升级，面向国内市场的内容风控也逐渐变得重要起来。
根据中国互联网络信息中心（CNNIC）第45次《中国互联网络发展状况统计报告》显示，截止2020年3月我国网民规模达到9.04亿人，全国范围互联网普及率达到了64.5%。
另外，工信部2020年4月29日的数据显示，一季度互联网企业信息服务（音乐、视频、游戏、新闻、网文等等）收入1466亿元，同比增长11%。从多个维度都可以感受到，消费互联网的增长步伐已经放缓，整体开始进入内容升级阶段。
抖音、头条、网文等内容产出矩阵日益庞大，要面对如此巨大的内容风控压力，还要兼顾到政治敏感性，这不单单是一家企业自身就容易做好的事，在具体的内容风控业务上，目前有三个点需要明确：
工信部、广电总局等官方审核机构，最需要做的就是设立专门的内容审核部门，制定详细的内容违规审核标准，对色情、暴力、盗版、犯罪等具体的违规内容制定相应的分级制度，这对游戏、电影、网文等行业都能起到很好的监督作用。
这方面，类似MPAA（美国电影协会）那样的电影分级制度一直都有很高的呼声，详细界定违规内容的等级，不仅可以让未成年人在观看网络内容时受到更好的保护，也可以让内容平台更精准的筛选违规内容。
目前各大内容平台的内容风控多为“独立战”，但好的一面是像百度大脑、博特智能、数美科技这样的平台型内容风控机构越来越多，这些服务商可以给多家平台提供内容筛查服务，当内容风控平台形成集群效应之后，不同的内容平台之间也有可以在一定程度上共享审核模型，让彼此的内容风控变得更容易。
在内容风控中，处理已经出现的违规内容固然重要，但更重要的还是将违规风险扼杀在摇篮里，比如快手平台就会定期处理违规用户，对涉及色情低俗和垃圾广告的用户进行封号处理，同时把处理结果公示全网，让用户和官方审核机构都能看到自己的清查力度。
△快手平台定期处理违规用户
此前《迷你世界》传出违规内容之后，官方立刻对游戏进行了下架整改，正是有这种敏捷度，近期《迷你世界》才得以重新上架，但处理迅速固然是一次不错的补救，如果官方之前就做好自查自检，自然不会让游戏中出现如此明显的违规内容，也就不需要下架了。
电脑上的每个文件都有一个独一无二的hash值，这种检测方法简单来说就是判断文件是不是那个违规的文件，腾讯微云、115网盘以及迅雷快传都采用了这一方法，在针对盗版内容和明显的色情图像时比较有效。
△每个文件都有独一无二的hash值
不过一旦上传者把视频剪辑了、改变了视频的尺寸或者加了背景音乐，那么视频文件的hash值就会变化，算法就会失效。它是一种比较基础、成本极低的审核手段，虽然识别能力有限，但用途广泛，是最常见的内容风控策略。
AI的识别能力比hash算法更强，可以识别出更加隐晦和多样的违规内容，对盗版（包括剪辑处理过的盗版内容）、软色情（不是很明显的色情内容）以及暴力等违规内容都有更好的识别效果，包含对文字、音频、视频和图像等各种多媒体的识别。
很多文字类网站或应用都会用AI的情感分析来判断内容的违规程度，像QQ邮箱中自动识别垃圾邮件的功能就是用了AI中的反垃圾邮件算法，还有知乎瓦力保镖的识别功能，可以像人一样初步判断出一条评论是否“阴阳怪气”。
这些比较接近人类的AI审核机制是大势所趋，不过目前的AI算法还不能100%识别出违规内容，很多内容平台暂时还需要设立自己的人工审核团队，比如知乎的“仲裁官”玩法邀请用户来帮助识别违规内容，当然更常见的是论坛中随处可见的举报按钮。
这是文字类内容的常见风控手段，而视频、音频内容则更麻烦一些，平台或许可以容忍违规帖子暂时出现一会儿，但是很难容忍违规视频、音频被大量用户看到或听到，所以这方面让用户帮着审核就行不通了，视频平台会聘用人工审核团队辅助AI一起把关。
游戏产品比较特殊，在审核上不同于一般的媒体内容，通常从两个方面进行审核，一方面由广电总局进行游戏版号审批，包括进口游戏与自主研发的游戏，这一层审核对棋牌、博彩等低俗类游戏有很好的打击作用，同时也能极大的遏制盗版游戏的发展。
△广电总局的游戏版号审批结果
另一方面就是靠厂商自觉，部分3D游戏有很高的自由度，玩家可以在任何地方涂鸦，写字画画都可以，一旦这里出现违规内容，就不像论坛和短视频那么好监测了，需要厂商自己做好日常的自检自查。
△3D动画具有很高的自由度
目前AI风控能力的瓶颈有两点，一个是硬件的计算能力，另一个是AI算法尤其是NLP（自然语言处理）的发展。
根据谷歌技术总监雷·库兹韦尔知名的“奇点”理论，2045年将成为划时代的AI元年，届时将出现在意识上可以匹敌甚至替代人类的强人工智能。
作为AI领域的头部人物，同时也是比尔盖茨口中“预测人工智能最准的未来学家”，库兹韦尔的理论有一定的参考意义。
按照此理论，也可以认为未来20年以内能完全替代人类审核员的AI风控算法大概率不会出现，那么在这段空档期里，第三方内容风控服务商、内容审核人力外包以及AI辅助型风控服务商也许会成为主流。
△AI风控算法
同时，由于AI审核的成本居高不下，未来的内容风控生态也可能会被细分为不同的组织单独存在，比如百度大脑只负责模型计算，对外部提供调用接口，这种模式的优势在于对不同内容场景的风控能力比较全面，劣势则在于专精能力不强。
还有一类则是像快手这样的大型内容平台，他们的内容风格都有自己特有的风格，跨平台的通用审核员或AI模型难以适配，在风控审核标准上必须要更有针对性。比如Facebook就曾联合多个高校做过研究，以旗下68万名真实用户的动态信息为研究样本，专门研发针对Facebook用户的分类算法，这个分类算法对Facebook自家用户效果最好。
还有素以算法强大著称的今日头条，在不断扩充人工审核队伍的同时，今日头条也时刻在改善着自身的AI审查能力。同样是内容平台，快手、知乎、抖音、B站的内容风格跟审查标准都可能天差地别，所以未来像今日头条这类拥有自研AI风控算法的平台可能会越来越多。
随着一系列内容违规事件的出现，各家内容平台也逐渐意识到了内容风控的重要性，抖音、快手、Facebook……越来越多的内容平台开始布局自家的内容审核体系，或组建专业的人工审核团队，或研发专属的内容过滤算法。
与此同时，随着人工智能的高速发展，库兹韦尔的“奇点”可能会到来，届时AI将完全替代人类，承担起内容风控的重任，到那个时候内容违规风险会被降到最低，平台不需要再投入巨额资金在内容审核上，用户也不用再为劣质内容而烦心，不知那会是一种怎样的情景？
留言话题互动
你对内容风控怎么看？
欢迎在留言区发表您的看法