双重噪声下的可靠学习:为什么M-Con对检测x-noise有效?NeurIPS论文分享直播回放(5)
NeurIPS 2022
直播回顾
🙋♂️议题分享详情回顾:
作者简介
结构框架
01
研究背景
虽然现在深度学习已经其实取得了比较大的成功,比如在CV方面,NLP方面,语音识别等。但是现在深度神经网络能取得这样的显著成功,主要取决于可靠的data,也就是需要大量的可靠数据。这个可靠性主要是两方面,比如说在图像分类任务中,一方面需要很高质量的image。另一方面是它的label也要足够的可靠。label一般可能是通过众包或者等的一些方式得到的,难免在实际过程当中存在一些问题。
所以在一个更真实世界的setting下,首先数据肯定会受到现实世界中的各种的人为,或者非人为的噪声影响。另一方面,因为数据中含有噪声,所以现有的DNNs很容易地过拟合到有噪声的数据上,从而造成网络的泛化性会有所下降。有时,还可能会出一些很严重的over-confidence的问题。
之前的setting
在早期研究noise label的工作,在label上面有一定噪声,比如我们可能会把下边图里的狮子标成一个老虎等,产生一种标记上的错误。另一方面是对应于早期一些做CV中图像去噪的领域,图像本身就是质量比较低,有各种各样的噪声,比如高斯噪声,高斯模糊等这种常见的噪声。以前的工作可能更集中于去研究他们问题中的某一个,而其实忽视了它们两个可能联合存在于一个数据集里边的情况。
我们的setting
我们就提出了这种双重噪声的载体,给它细分的话,一方面是来自于image本身有一个这种noise的干涉,另一方面是label上面有一定的noise。对于image noise,在我们的工作中,可以被细分为两种噪声,一种是常见的image corruption,比如高斯模糊或者高斯噪声等,另一种是background noise。
比如我们一般从自然世界当中收集到的图片,有背景也有前景,图1中的第三幅图里面是一个小孩在草坪上牵着一条狗,但是我们去做实际的很多分类任务,可能我们只给他打了一个标签,小孩或者狗,这就难免会产生背景噪声在里边。另一方面就是label noise,比如打标签的时候给打错的情况。
神经网络不确定性技术,流行的技术有基于贝叶斯推断去做的,比如说BNNs,还有更简单的MC-Dropout技术,它们都可以基于贝叶斯定理去刻画不确定性。另一大类是Ensemble-Based方法,它是最近几年比较流行的一种不确定性建模方式,比如Deep-ensemble,BatchEnsemble。还有一类是Distance-aware uncertainty,这里边有一些比较经典的工作,比如说SNGP,DUQ模型。
这里我们评估了现有不确定性的方法在噪声数据上的表现,从上面的实验结果可以看出,uncertainty-based模型基本都要比确定性的神经网络的分类准确率要高,其中,deep ensemble所取得的性能最佳。所以基于这样的发现,我们选择用deep ensemble作为我们的backbone。
02
我们的方法
Deep ensemble首先有两个优点,以上易于实现和灵活性高,这使得我们的方法具有良好的实用性和可扩展性。二是deep ensemble在相关工作和我们的研究中发现能在分布偏移的情况下提供校准的置信度和不确定性。
对于样本筛选,一方面我们要筛选出label上面有噪声的数据,另一方面要筛选出图像本身有噪声的数据。在我们的工作中,首先利用标签置信度(label confidence)来筛选标签上有噪声的数据。
另一个问题是label上面有噪声怎么去发现,假如本身image上面有1000多万人怎么去发现,然后这里边其实有的以前工作一些启发,首先灵感来自使用最大置信度进行分布外检测的成功,基于这样的就是启发,然后我们利用最大置信度检测带有x噪声的训练数据。
最后,我们提出了基于模型不确定性的目标函数。具体而言,如果数据的M-Con和L-Con小于设定的阈值,我们就最小化它的模型不确定性。反之,我们最小化一般的交叉熵损失函数。这里的模型不确定性可以通过模型预测和模型参数之间的互信息来测量。
03
实验结果
实验上面我们首先可以看到在Synthetic (x,y)-noise on CIFAR-100 and TinyImageNet这种条件之下,我们做了不同的实验,然后实验发现其实就是我们的方法基本上比之前提出来对比是不错的性能表现。
这个实验的表里边包括的proposed-L和proposed-M,分别就是只基于L-Con构建的方法和只基于M-Con构建的方法,proposed-LM是两种confidence联合构建的最终方法。
我们直接去训练deep ensemble,相对于正常的DNN,其实它有也能取得一个不错的表现,特别在这种联合噪声场景之下,所以这个表格也证明了uncertainty-based方法确实能够去缓解噪声学噪声数据下over-confidence问题,进一步能够提升最终的网络的性能。
我们也做了web version比较更接近于现实的数据集,发现也有一定的效果。Ablation Studies,发现实际当中一般有5个network,就比较足够了,已经能取得相当不错的performance。
我们也做了不同预知下的性能,发现在很多在一定区间内的阈值,我们也能取得不错的实验效果。
总结来说,这项工作首先介绍了更具挑战性和更接近真实世界的噪声设置,然后对在双噪声下使用基于不确定性的模型进行了系统研究。我们发现,仅仅使用基于不确定性的模型是不够的,并进一步提出了一种用于学习基于不确定性深度模型的新工作流。根据经验,所提出的方法在合成(x,y)噪声和真实世界噪声数据集方面显著优于CIFAR-100和TinyImageNet上的竞争基准。
🔥议题七:Dynamic Graph Neural Networks Under Spatio-Temporal Distribution Shift《时空分布偏移下的动态图神经网络》
● AAIG成立一周年!砥砺前行,谱写新时代的科技之歌~请查收这份最新的自我介绍
● AI治理必修第19刊|人脑给AI打工?大模型能自己"写"论文了,还带公式和参考文献!AlphaZero 的黑箱打开了!
● 听委员说|AAIG薛晖出席杭州市"两会",提出加快建立人工智能产业的多元协同治理机制
● 利用离散对抗训练增强视觉表征|NLP样式的对抗训练是否能引到图像中?NeurIPS论文分享直播回放(1)
● “算法偏见”是概念炒作吗?「这个AI不太冷」第3期带你揭秘现实AI!
更多人工智能治理和可持续发展好文点击下方名片关注和星标【阿里巴巴人工智能治理与可持续发展研究中心】