揭秘:AI鉴黄师是怎么工作的?
点击↑↑上方蓝字关注,带您看异样的风景!微信1036793618QQ同号,欢迎结尾处点在看,多谢!
长按上图中的二维码可直接下单
网络媒体的发展催生了一个充满神秘色彩的职业——鉴黄师,不少宅男心中的“梦想工作”。
殊不知,鉴黄师实则是一个无比艰辛的工种:熬夜、劳累、枯燥……但即便像上了发条一样地工作,他们依然越来越难满足短视频时代鉴黄堵漏的需求。
快手、火山小视频因传播低俗信息被约谈。自此,对互联网色情内容的打击力度愈发升级。
人工智能鉴黄师(AI)便由此应运而生,AI的出现极大地解放了挣扎在鉴黄大业一线的人工鉴黄师们。
目前在我国上线的“AI鉴黄师”,不仅能鉴别黄片黄图,连带有情色信息的语音内容也能够快速捕捉。近期上线公测的阿里巴巴AI语音鉴黄反垃圾服务,不仅能支持中文、日文、英文等多国语言,还能识别东北话、四川话、广东话等方言,就连无语义的呻吟声也能识别出来。
带着满满的好奇,记者采访了AI智能鉴黄在图片、语音和语义三大领域的领先技术团队,请他们揭开AI鉴黄师的神秘面纱。
AI鉴黄师是怎么工作的?
在图像鉴黄领域起步较早的图普科技公司运营总监姜泽荣介绍,图像鉴黄的原理首先是要制定色情图片的分类标准,然后收集大量素材,进行分类标注,最后用这些标注好的素材去训练图片,让机器去学习各个分类里面的特征,不断调整自己模型的参数,并最终得到最佳的识别模型。
当机器对图像进行识别以后,这些图像数据会转化为数字化的信息,带入到模型里面进行计算,根据计算值将图片标注为“正常、性感、色情”三个类别。如果在人工复核环节发现机器识别有误,则会有针对性地对相同场景的图片进行数据学习,并调整参数,直到错误率达到最低值。
亲爱的朋友,欢迎您关注由王之团队打造的公众号王之风景线(点击可关注),为您推送精彩资讯和独家看点,期待与您携手共进拥抱自由与梦想!小编微信1036793618与QQ同号。
AI鉴黄师如何培育起来的?
▲2018年8月3日,北京,油库公司,29岁的吉恒杉是一名人工智能标注员,他正在训练机器识别何为“接吻”镜头,因此也被戏称为“吻戏鉴定师”。图片:VCG
通俗点讲,当你有意想要“调戏”AI的时候,它首先会识别你的轻佻言论,其次能够迅速捕捉言语间的“雷点”,并在毫秒内做出反应和判断,以巧妙的方式规避开你的“调戏”。对于一些低俗、污秽的词句,在人机对话中也会被自动屏蔽掉。
在最初的大数据学习阶段,AI需要学习“正反语料”素材,反语料通常包括网络上搜集来的不雅词汇或污言秽语等。有趣的是,一些网络新词更迭速度过快反而成了程序员们当下最棘手的难题,“有些词昨天听着还很正常,今天就变成了敏感词汇,比如2017年热炒的的‘黄鳝女’,出事之后,我们还不能对黄鳝这个词一刀切地屏蔽,因为可能会伤害其本来意义,但还得让机器聪明地判断出这个词出现的场景和语义。这就要求我们的技术不断更迭。
亓超表示,在数据搜集难题上,他也期待未来能够和有关政府部门合作,以便收集到更多的原始素材来提高机器快速学习的能力。
由于担心儿童成为网络黄色暴力主要的受害群体,三角兽在其“儿童聊天引擎”的设计中也更加谨慎处理对内容的把控,使其内容不良率降低到万分之零点六。亓超告诉记者,在儿童应用设备中他们会屏蔽过滤掉如恋爱、结婚、怀孕等成人可接受,但不适合儿童接触的用语,为儿童营造一个安全和健康的聊天环境。
AI鉴黄的准确度和效率如何?
阿里巴巴安全部高级算法工程师威视对记者表示:AI鉴黄师每天可审核数亿张图片,识别准确率高于99.5%。
“举个例子,一天要审核4亿张图片的话,单纯由人工来审,一人一天审1万张,需要4万人,而AI鉴黄只需将其中20万张可疑的图片筛出来,由人工再审一道,只需要20人即可。”
图普科技姜泽荣告诉记者,AI完成鉴别分类后,只会把判断结果和概率告诉使用方,使用方再根据结果做对应处理,比如自动删除、或者人工接入复审。
AI上岗后,人工鉴黄师都会下岗吗?
作为早期的人工鉴黄标注师,姜泽荣坦言人工鉴黄师其实是一个枯燥的体力活,就像“流水线上的工人,迟早会被机器替代。AI的出现让人类把这个体力活外包出去,然后投身到更有意义的工作中去。”
不少帖子已经爆料过,由于近几年信息量的暴增和审核的严控,人工鉴黄师加班已经常态化。媒体曾经报道过有鉴黄师因为压力过大身体吃不消而向公司提出工伤索赔的新闻。
“刚开始接触大量的小黄图,确实会有生理反应,尤其是对一些心理素质不够好的年轻鉴黄师来说。”姜泽荣说。
一位有类似经历的鉴黄师也对记者表示,频繁曝光在黄色信息的网络中难免会对身体造成伤害,偶尔遇到一些比较变态的视频或图片,“会让人一整天都吃不下饭”。严重的时候,在路上看人都是马赛克。但AI鉴黄的免疫力就会强得多。
不过,姜泽荣和威视都表示,AI鉴黄尚不能完全取代人工审核,因为机器还很难理解内容背后的深意,也不会在不同文化场景中做自由切换。
“最佳的审核方式是智能为主,人工为辅。人工鉴黄师群体数量少了,目前主要做打标和审查可疑图片的工作。”阿里安全部产品专家念夏说。
色情和非色情的界限怎么把握?
▲2018年8月15日,北京,优酷公司举办“吻戏鉴定师”招聘面试,从上百份简历中筛选出来的四位候选人进入面试环节,回答关于人工智能的技术问题,还要对着屏幕分辨上百张明星脸。图片:IC
姜泽荣介绍,在早前设计模型的时候,著名的“大卫”雕像就因其某些部位雕刻得太过于‘写实逼真’而被标定为“色情”。但是随着人们对开放性文化接受程度的扩大,机器通常会对“有裸体出现”的艺术作品温柔处理,或视情况酌情考虑,但不包括那些“明显在传播色情文化”的艺术作品,例如春宫图等。
得知AI鉴黄师上线的消息以后,有些人担心AI过于刻板的标准会对原本可以被“侥幸放行”的内容也一刀切地砍掉。有人认为,色情文化是人类的刚需,但AI无疑是将“人性的出口牢牢堵住。”
对此,姜泽荣并不认同。他认为,在我国尚未出现“分级制度”的情况下,更应该对黄色信息严格把控,“阈值要尽量调高,宁可错杀,不可错放”,以防止色情信息对未成年人的伤害。他希望家庭和学校的性教育可以不断完善,家长能对孩子的性需求有更科学的引导。
在我国AI智能产业强劲发展的今天,AI势必会以更高效的节奏做好网络安全摸查的排头兵,我们期待AI鉴黄师能为祖国打好未来每一场扫黄攻坚的保卫战。
AI鉴黄师如何工作?计算视觉技术与网络视频审核
近两年来,直播平台、各类UGC平台、资源共享下载平台,以及各种图片、视频社交平台极速发展,竞争迅速白热化,导致对用户体验愈发重视。数个知名平台和企业因涉黄被关闭或处罚,各大公司对内容审核投入了大量的人力物力和财力。
然而相对于违规比例而言,企业的内容监管成本之高让人咋舌。以直播为例,人工审核的运营成本相对于内容违规比例来说非常高。比如映客曾经投入800多人进行7*24小时的内容审核,占用了7000平米的审核基地。事实上,直播的违规比例仅占0.04%甚至更低。
在这样的前提下,引入AI系统解放一大部分审核师显得意义非凡。利用机器替代人工进行基础的审核工作,对于视频和图片为主的网络平台而言,成为了一种刚需。
据统计,基于人脸识别、自然场景识别等技术的智能内容审核存在数百亿量级的市场规模。近两年人工智能鉴黄市场竞争愈演愈烈。Facebook正在开发一项新的系统工具,可以在直播视频中对违规内容进行自动标记。雅虎也对外开源了一套深度学习神经网络,专门用于自动检测图片是否含有色情内容。国内腾讯阿里百度网易等多家公司开始布局。创业公司也积极参与鉴黄业务。
AI鉴黄的原理
和很多人工智能系统一样,AI鉴黄系统将海量的色情图片作为素材,通过深度学习算法进行训练,识别色情信息,并通过样本建立模型,最终用于判定哪些是黄图。此类系统可以通过模拟人脑神经网络对高复杂度的数据进行良好的解读,并通过大量数据持续训练、频繁的迭代不断提高图像审核的精确度,可以有效减少人工复审的工作。
图片是静态的,视频和直播是动态的。鉴别视频和直播时,其实从视频内容中提取相应的视频帧进行图像识别,通过间隔截图、关键帧截图等对直播和在线视频进行识别处理,所以,视频的智能审核并不以视频为单位,最终也是对单张图片的处理。
当然,鉴于视频直播的实时性,直播相对于其他在线视频和图片而言,对于机器的图片识别的处理速度要求较高,这主要是对于计算能力和算法的要求加大。
AI对视频鉴黄的步骤
人工智能会对视频影像进行分析,然后通过以下步骤进行鉴定:
-- 识别图像中是否存在人物体征,统计人数;-- 识别图像中人物的性别、年龄区间;-- 识别人物的肤色、肢体器官暴露程度;-- 识别人物的肢体轮廓,分析动作行为;-- 根据肤色裸露程度、姿势、肢体轮廓判断是否涉及色情元素。
除了图像识别之外,同时辅以语音识别,判断是否存在敏感信息;同时对实时弹幕进行文字识别,判断当前视频是否存在违规行为。多种鉴别方式的相互组合和印证大大提高了智能审核的准确性。
AI审核的优势
依靠人工排查,鉴黄师们每日人均的审核极限大约在2w张图片量级。面对互联网上山呼海啸般的涉黄信息,在效率上无疑是捉襟见肘的。机器可以24小时不停歇的鉴黄且毫无怨言,摒弃主观臆断而只根据客观标准来鉴黄。
一方面,AI审核能有效降低成本、提升效率。与人工鉴黄不同,人工智能审核不存在疲惫和精力不集中等问题,系统可以进行7*24小时不间断的工作。有数据显示,人工智能审核的效率是人工识别的1000倍。以一家月直播10万小时的中小直播平台为例,如果采用传统的内容审核技术,100人的内容管理团队每月所花费的成本在80万上下。如果借助人工智能进行内容监控,人力投入可以削减到10人左右,综合投入不过10万到20万之间,将大大降低人力成本和管理费用。此外还有因此而节省的监视设备费、办公场地费等等。
某直播平台的监控室
另一方面,AI审核的准确率大大上升。相对人工审核而言,智能审核排除了主观意识的影响,能够做到更为客观的判断。以目前的技术水平来判断,智能审核能够做到99.5%以上的准确率。不仅如此,依赖深度学习算法,可以使系统变得更智能、更精准。
智能审核仍离不开人工
尽管机器识别鉴黄的正确率正在不断提升,但仍不能完全取代传统鉴黄师的工作,仍存在很多犯错和脱离不了人力的地方。这是因为,网络本身的深度、参数的设置、训练的方式、数据样本的齐全性都影响着鉴黄的精准度。而且,在判断标准上,色情与性感的差别往往就在毫厘之间,而网络色情图片也越来越隐晦。这些在色情与性感、色情与艺术之间的临界点附近的图片,AI系统往往无法精准判断,这时就需要人工干预。
举一个简单的例子,一个裸露着上半身的男人,如果是人工审核的话,可以很简单地判断并不是色情内容,但是人工智能通过肌肤裸程度的判断却会做出是色情内容的判断。所以,依赖于图像识别技术的不断突破,需要大量的数据不断去训练和纠正,才能使人工智能识别更精准。
利用AI智能鉴黄手段有着高效率高精度等优势,正在逐步取代人工审核,成为打击色情信息的中坚力量。但AI只能用于减轻人工鉴黄师的负担,分担掉部分简单重复的鉴黄工作,使得人工鉴黄师可以更专注于更高级的工作。随着智能计算视觉技术的深入发展,机器对图像的识别处理能力无疑会不断上升,但人工智能在图片和视频内容审核的领域始终不可能完全取代人类。
热门小说汇总 请手动复制下列链接在浏览器中欣赏或收藏: 热门小说精选(三)http://t.cn/Ec8UQpP 热门小说精选(四)http://t.cn/EfGg6ZM |
一位女声音鉴黄师自白:恶心想吐!AI鉴黄快来吧
众所周知,现在许多社交App都有语音功能,网友间的交流相较文字信息更加方便、生动。目前,在苹果商店的社交App中,就有超过1/10的应用主打声音社交功能。
为了响应“扫黄打非”的需要,这些平台都诞生出一种职业叫做“声音鉴黄师”;相比图片、视频鉴黄,音频不能依靠机器识别,只能依靠人工听,从庞大杂乱的语音中揪出涉黄涉暴人员进行封号处罚。
据媒体报道,在某日活跃人数高达50万的平台,一位女性声音鉴黄师称,“一个人平均一天需要鉴定4000条信息,24小时轮班监控,各种荤段子、暧昧语音,有时(听到)恶心想吐。”
而这个职业,除了工作枯燥繁重,对从业人员,尤其是女性的心理健康也造成很大影响。鉴黄师每天都会听到很多奇怪的声音,比如喝水声,舔冰棍的声音,甚至还有娇喘呻吟……简直污秽不堪,不能入耳。
所以,鉴黄师这份职业看起来虽然不是很正经,可是我们能有一个干净的网络环境,全都是他们的功劳。
值得一提的是,9月18日,国家网络安全宣传周举办。在展览上,阿里的一个产品颇为吸引眼球,那就是“AI鉴黄师”。
图片鉴黄师一天一人只能审核1万张图片,而据称,阿里AI鉴黄师每天可审核10亿张图片,识别准确率高于99.5%。甚至连一些裸露的艺术雕像都能分辨出来,完全不受干扰。
更厉害的是,它不仅能鉴别涉黄图像,连音频都能识别,不管是中日英俄等语言,还是东北,四川,广东的方言,甚至连无意义的呻吟声都可以轻松判别。
小编不经感慨人工智能的强大,假以时日,人们就用再面对这些垃圾信息,也不需要专门的人工鉴黄师了。
救救鉴黄师!这份让中国男人又爱又恨的工作,如今到快招不到人了
在许多网友的眼里,鉴黄师——这群靠"找小黄图"谋生的人,无疑是真正的"人生赢家"。天天上班能看"无删减版",还手握着"封杀大权"。这工作还会招不到人?
但是,"光鲜"的背后,这个工作真的不好干。网上的小黄文、小黄图、小黄片层出不穷,套路还越写越深!"福利"虽然多,但是营养越来越跟不上啊!影响夫妻生活、抑郁、脂肪肝、高血压.....已经成为这一行常见的职业病,甚至还可能猝死。别说男人,不少女鉴黄师都表示:身体实在扛不住了!
为了大家的身体健康,阿里巴巴决定:让人类鉴黄师们从火线上撤下来,换鉴黄机器人(AI鉴黄师)上!
通过人工智能、深度学习和大数据样本等技术,阿里巴巴的AI鉴黄师训练识别千万张正常图片与色情图片,最终生成一个智能鉴黄模型。
"最初在获取样本时,我们筛选了近2000网站、6000多万色情图片,经过去重,标注1300多万张高质量的色情图片。"阿里安全部高级算法专家威视说:这是Ai鉴黄最重要的一块基石。
此外,以后讲不健康的"段子","学外语"也要小心了!除文字、图像鉴黄,阿里AI鉴黄已经拥有了语音识别能力,可支持中文以外的多国语言,还支持地方言。那些无语义的呻吟声也能识别出来!据悉,在8月21日举办的网络安全生态峰会上,这些技术都将对大众公开。
有了这样的利器,人工鉴黄师正变得更加强大。AI将从极速鉴定的上亿张图片中,精确挑出"疑似黄色内容"提交人工复核,鉴黄效率大大提高。
而且,配合一系列技术手段,隐藏在线下的黄色内容源头也得到了精准打击。今年年初,湖南郴州警方就在阿里安全技术的协助下,利用最新技术,一下就端掉了一个聚合100多个跨国淫秽直播站点的团伙,涉案3.5亿!这些女主播来自中美日等多国,每天上亿人次观看!更夸张的是,为赚打赏,竟有未成年少女做淫秽直播,还有母亲在直播中裸露女儿的性器官,有的女主播一天收13.8万打赏!
而且,平台不设年龄限制,不少未成年及在校学生观看,有未成年考生熬到深夜对主播说,明天要考试不得不下线。此案背后黑灰产团伙躲在境外,披着假身份假IP操控,侦查难度极大。
在阿里安全技术协助下,警方对这个案子全链路收网。#2018网络安全生态峰会#上,阿里安全将联合南都发布黑灰产报告,探索用技术协助各界解决社会问题。
王之先生被流氓黑社会迫害长达三十年,因为缺乏证据(它们肯定不让那些徒子徒孙们留下证据的,尤其通过网络黑客和黑社会的迫害)而投诉无门,举报信也石沉大海,在此求助天下正义力量,包括法律援助和媒体支持,缉拿揭露流氓土匪,还我人权!
亲爱的朋友,也请您关注由王之团队打造的微信公众号王之风景线(点击可关注),为您推送精彩资讯和独家看点,期待与您携手共进拥抱自由与梦想!
小编微信1036793618与QQ同号
百年五四系列:五四运动的老照片 |
长按或扫描微信支付