案例分享|基于隐私计算的在线内容安全检测

01在线内容检测的意义

2019年4月，英国政府发布了在线有害内容白皮书，该白皮书指出我们急需解决个人上网产生的负面后果，其中包括对潜在用户的伤害、社会凝聚力的影响还有对于社会民主的危害。

该文件制定了一项行动方案，来处理因破坏国家安全或共同权利和责任的个人用户，特别涉及儿童的有害内容或活动。白皮书中建议的许多措施要求社交媒体平台采取相应行动，社交媒体公司需要识别并防止共享有害和非法的内容。

在私人平台上监管有害内容非常有必要，比如最严重的网络犯罪形式之一——对儿童的性剥削和虐待（CSEA）。CSEA的材料很容易通过社交媒体平台进行分享和传播，然后对潜在用户产生伤害，这时候社交媒体平台就有有责任保护其用户免受伤害。

现阶段，许多社交媒体公司使用实时审核、雇佣人工审核团队或自动检测系统来帮助打击其平台上的有害和非法内容。其中自动检测系统的范围从简单的方法，如匹配图像（使用哈希）到使用可能非法材料训练的深度学习模型。

02在线内容安全检测面临的隐私挑战

检测CSEA材料的过程会受到端到端加密的限制，因为加密的信息平台可以掩盖非法内容的共享。

虽然英国政府已经考虑禁止端到端加密，以阻止CSEA材料共享，但端到端加密为普通公民提供了关键的利益，必须保存和促进。

最近的技术进步可能提供了一种检测有害内容的解决方案，而不终止端到端加密或个人用户的隐私。

03案例1：基于同态加密的在线有害内容检测

同态加密（HE）已被证明是一种有效的隐私计算手段，可以分析加密数据，并可以作为在加密平台上识别CSEA材料的工具。

客户端将加密数据发送到服务器，在服务器上对加密数据执行特定的分析，而不对该数据进行解密。然后将加密的结果发送给客户端，客户端可以对其进行解密，以获得他们希望外包的分析结果。

用于检测CSEA材料的系统可以保存在移动设备的图像库中。经过验证的第三方（如执法机构）将保留一个匹配的数据库，其中包含被归类为CSEA材料的大量图像。

系统可以检查存储在移动设备上的图像的是否与匹配数据库中的任何已知的非法材料相匹配，而无需将匹配的数据库发送到移动设备或显示用户的照片。

04案例2：基于神经哈希的苹果公司儿童内容安全检测

2021年8月，苹果公司宣布将在其美国设备上实施新的儿童安全功能，三项举措中旨在减少儿童的性虐待。

其中一个变化与iCloud Photos有关，它将扫描图像以找到CSEA。

虽然谷歌、微软和Dropbox等云服务公司已经在扫描CSEA的材料，但苹果计划使用一种名为NeuralHash的技术对个人iPhone设备进行扫描。

神经哈希根据图像的特征将图像转换为一个唯一的数字（一个散列）。在上传到iCloud照片之前，会将其在设备上与儿童安全组织提供的已知CSEA散列数据库进行比较。

任何匹配项都会提示创建加密安全凭证，如果用户达到了安全凭证的阈值，它们将被解密并与苹果公司共享以供审查。

这些提议受到了许多人的欢迎，包括儿童安全组织。然而，这一图片搜索功能遭到了隐私倡导者、密码专家和其他科技公司的批评，他们认为苹果的提议是在他们的设备上引入了一个后门。

批评人士认为，这可能会使该系统容易受到国家对政治异议的审查，或对无辜图像的标记。进一步的批评针对了该系统的有效性：研究人员重新设计了哈希算法，并能够创建出被该系统错误标记的图像。

2021年9月，苹果公司宣布将暂停实施CSAM扫描，收集反馈并进行改进。

2022年4月，苹果公司宣布打算在英国iphone上的信息应用程序上引入家长控制安全功能。目前还不清楚根据英国和欧盟的数据保护法，图像散希程序将如何运作。

设备上的筛选可能需要明确的同意和用户选择加入（而不是选择退出）。用户图像不一定是GDPR下的个人数据；它们必须描述可识别的人以构成个人数据。

这些新出现的法律问题，以及公众的怀疑表明，在英国或欧盟，设备上的检测系统可能面临障碍。

05在线内容安全检测的潜在风险

不过，值得担忧的是在CSEA材料检测之外的额外影响，比如国家行为者使用该技术来打击数字盗版、数字权利管理，或用于国家安全和监视的目的。

如果有害内容检测系统被认为是监控工具，平台可能会面临声誉风险和用户的损失。

此外，检测算法有可能标记假阳性，正常的图像可能会显得足够接近非法的图像，导致被机器学习系统标记。这可能会导致无辜的人被认定为拥有CSEA材料，从而对个人产生负面影响。

法律挑战和公众信任也必须得到解决。执法机构需要明确运行这种系统的法律基础，这可能构成将其法律责任移交给第三方。这对公众的信任有影响，特别是在使用设备的地方。

所以，政府想要的是尽量减少非法材料的在线空间存在量。而社交媒体公司也想要确保用户不会违反他们的使用条款，即使是在加密的空间中。

本文由“开放隐私计算”翻译整理自英国The Royal Society的论文《From privacy to partnership》节选，转载请注明来源，分享仅供学习参考，如有不当，请联系我们处理。

END
热门文章: