查看原文
其他

构建用户安全评级,UGC智能化审核应用实践

爱奇艺后台研发部 爱奇艺技术产品团队 2022-11-04

导言


将人工智能(AI, Artificial Intelligence)技术,用于审核互联网上用户生产内容(UGC,User Generated Content)日益广泛,能够提高人工审核的效率。AI审核既要考虑单个内容的违规情况,也要延伸到发布该内容的用户维度上。本文将分享智能化审核在爱奇艺审核业务中的实践和应用:对用户的安全性进行建模和评级,同时结合AI内容安全检测,实现更智能化、更高效的UGC审核策略。

背景


互联网内容安全审核,即对用户生产的视频、音频、图片、文字等内容进行审查,合规的内容才能发布,以净化网络环境。
目前业界采用的审核策略是AI+人工。其中AI策略主要是采用深度学习模型,从图片、文本、音频等内容维度,智能识别其中的涉政、涉黄、暴恐等违规信息,即AI内容安全检测。图1是当前主流的智能化审核解决方案。
图1:主流的智能化审核解决方案
然而,搭建一套AI内容安全检测服务的成本较高:一方面,针对涉黄、暴恐等不同的违规类型,需要大量、分类别、高质量的标注数据,主要是人工标注;另一方面,为达到可用的准确率,普遍采用深度模型,训练和推理都依赖昂贵的GPU资源。
业界也考虑到,内容的安全不应只在单个内容上,还需要结合更高的维度,如上传内容的用户,主要有两个形式:1,建立用户黑、白名单;2,基于用户历史数据,定义运营规则,给用户打分。这种方案存在准确度低、误判高的问题。
为了优化上述问题,本文借鉴用户风控的思想,提出了用户安全评级:采用机器学习算法,对用户的信誉度、安全性进行建模,能够预测用户的未来表现。之后,再结合AI内容安全检测和人工审核,制定灵活的审核策略,实现了智能化审核,并在爱奇艺审核业务中落地。

UGC智能化审核



方案设计


本文提出的UGC智能化审核方案,主要包含两个部分:

用户安全评级。评估用户的安全性,一方面,为了可量化、更客观,主要从用户上传内容的通过率、高危率等维度进行衡量。另一方面,为了具有前瞻性,采用AI算法,对其进行预测。
智能化审核策略。用户上传一条内容后,将优先调用其安全评级,对高等级用户的内容,可以不调用AI内容安全检测服务。并且可以影响审核优先级,用户等级越高,审核的耗时越短。
因此,该方案具有以下优势:
1.用户安全评级定义客观,并具有未来预见性,因此准确度高;2.节约成本。用户安全评级不依赖人工标注,并且计算轻量。也减少了AI计算资源;3.降低合规内容的审核耗时,提升用户体验;4.辅助审核,提高人工审核效率。

用户安全评级


用户安全评级的建模,采用了自监督的机器学习方案。首先,收集用户历史上传和审核数据、用户画像、用户注册认证等业务方数据;然后,统计计算用户的特征,并自动化标注其安全等级,从而形成训练数据;之后,结合业务特点,进行提取、筛选、变换等特征工程;最后,选择合适的AI算法,进行模型训练,并评估效果。整体流程如图2
图2:用户安全评级的构建流程
——用户安全评级的无监督标注
用户安全评级,是以用户上传内容的审核结果表现为标准,划分为不同的安全等级。等级越高,其生产的UGC越安全,即审核通过的概率越高、违规的程度越低; 反之亦然。
用户安全等级的标注,同时要具有一定的预见性和前瞻性,所以主要参考用户在“未来”一段时间内的表现,历史的表现为辅。另外,如果采用人工标注的方式,一方面,评估标准不好确定,难度大;另一方面,用户的表现是变化的,需要经常标注一批用户等级,以保持模型更新迭代,很耗人力。
为此,本方案采用了无监督标注、客观直接的等级评估标准。不同时间区间(如未来1天,历史1天、7天)设置不同的权重系数,加权计算每个用户的综合通过率PassRate, 

其中,pi为一个用户在时间区间i内生产内容的审核通过量,ti该时间区间内生产内容的总量,wi为相应时间区间的权重系数。
再结合置信度(如通过率方差、上传总量),定义各个安全等级的标准,从而将每个用户划分到对应的等级。比如,共划分10级。
——特征工程及模型训练
所需特征,主要是用户在审核业务中的历史行为,如在历史近1天、7天、30天等各时间区间内的通过率、上传量、高危量等维度的特征。同时,也可以尽可能从其他业务方收集用户的数据,例如,用户的注册信息、用户画像、被举报等数据,能从一定角度反应用户的安全性。
有了用户的特征数据,和上小节中的用户安全等级标注进行拼接,构造出训练数据,样本形式如表1
表1:用户安全等级模型的样本
构造完训练数据之后,便可以选择合适的算法,进行特征工程,和用户安全等级模型的训练。
用户安全等级模型,属于多分类问题。考虑到特征中连续值较多的特点,选用GBDT算法(Gradient Boosting Decison Tree,梯度提升决策树),并选用了XGBoost开源框架。XGBoost是GBDT的高效实现,具备运行效率高、健壮性好等特点。
为减少特征工程,提高预测的准确度,也采用了DeepFM深度学习算法,并改进了网络结构,见图3。比如,将通过率特征分桶转化为one-hot特征,支持multi-hot类型特征。最后,会将GBDT和DeepFM两个模型的预测结果进行融合。
图3:用户安全等级的DeepFM网络结构

由于整体用户的表现会随时间有变动,为了保证模型效果的稳定性,模型会定期地自动化更新。因为是无监督标注,所以模型更新很简便:统计计算每天的用户特征和对应的等级标签,即当天的样本,再和历史样本合并,得到训练样本,随机划分训练集和测试集;然后分别训练GBDT和DeepFM模型;并在测试集上评估效果,若效果达到预设的阈值,即可发布到线上服务。
——模型优化
UGC审核不通过的原因有很多种,有广告、灌水等普通违规类型,也有涉政、色情等高危违规类型。高危内容的影响恶劣,危害极大,为了识别这类内容,本文特别重点关注。用户安全等级模型,由于主要以用户通过率为标准,对于高危违规内容的预测能力较弱。为此,专门增加了一个高危用户的检测模型,用于预测用户在未来几天是否会发布高危违规类型的内容。
高危用户的标注,和用户安全等级的标注类似,但更简单,主要是看用户在未来几天是否发布了高危内容。用户特征也与用户安全等级模型的相似,构造出的训练数据形式如表2
表2:高危用户检测模型的样本
高危用户检测模型,属于二分类问题,主要在于召回高危用户,筛选出高危内容,以降低平台的风险。算法也选用了GBDT模型与改进的DeepFM模型。具体流程如图4
增加高危用户检测模型后,大幅提升了对高危用户和内容的检测能力。
图4:用户安全评级的综合流程
——模型推理
得益于公司完善的大数据处理平台和机器学习平台,训练数据的收集和计算,用户安全等级模型和高危用户检测模型的训练、评估和推理部署,能够很方便、高效地完成。
当某用户上传了一条内容,首先可能会经过用户风控等环节,决定用户能否上传内容。上传成功后,进入审核流程:基于用户ID,先获取模型所需的用户特征,再实时请求用户等级模型和高危模型的线上推理服务,从而获得用户的安全等级和高危结果。
将两种预测结果融合,确定最终的用户安全类别。首先,对于十级的安全等级,根据各业务的实际情况,可将1-10安全等级灵活地划归为高、中、低三个等级,如9~10级为高等级用户;5~8级为中等级;1~4级为低等级。然后,结合是否高危,最终划分为三类用户:安全用户、一般用户、危险用户,如表3

智能化审核策略


得到用户的安全类别后,可以灵活地配置不同的审核和发布策略,实现智能化的审核。例如,可以定制表3策略:
表3:用户类别划分及智能化审核策略

无论是极速通道,还是普通通道,经审核后发布到线上的UGC,还将监测其在线上的曝光量、曝光时长、举报等指标,当达到一定阈值时,将其召回,回流到监控审核流程。这种策略,使得所有的内容,都会经过交叉审核、人工审核,并且可能会经过多次人工审核,确保了内容的安全可控。
对于各个UGC在人工审核时的优先级,上传用户的安全等级将作为一项重要因子参与到优先级的计算,最终的优先级还会参考内容的上传时间、是否新用户上传等多种因素。安全评级越高,其上传的UGC越优先被审核,降低了合规UGC的审核时长。
综上所述,智能化的审核策略如图5所示:
图5,智能化审核策略

总结



本方案构建了一套用户安全评级模型,定义了以通过率和高危违规与否为主要衡量指标的用户安全标准。无监督标注数据,基于各维度的历史行为和属性等特征,训练得到用户安全等级模型和高危用户检测模型;并融合两个模型的结果,准确地预测出用户的安全类型。之后,再结合AI内容安全检测的结果,筛选出安全的内容,极速通道审核发布。既降低了AI内容模型的计算资源和时间消耗;又大幅缩短了审核发布时间,提升了用户体验;并且,通过人工审核,确保了内容的安全可控。
该智能化审核方案在UGC视频审核业务上线后,AI内容模型的计算资源减少了25%;优质视频的平均审核时长缩短了80%。
后续,将继续探索通过优化标注方案和改进算法模型,以提高用户安全类别的预测准确性;同时对于图文审核、直播审核等业务,分别训练模型,以赋能更多业务。从而持续提升审核的时效和效率,优化用户体验,保障爱奇艺的内容安全。

看完心动了吗?戳👇“阅读原文”直达招聘页面即刻加入爱奇艺


也许你还想看

不同的AI视频推理场景下,如何构建通用高效的抽帧工具?

爱奇艺获ISO双认证 信息安全与用户隐私保障达到国际先进水平


一扫下方二维码,更多精彩内容陪伴你!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存