静园5号院科研讲座 | 哈佛大学Yiling Chen教授谈信息质量评定的机制设计
关键词：信息质量评定
编者按
2019年8月5日，哈佛大学 Yiling Chen 教授受邀访问北京大学前沿计算研究中心，并在静园五院做了题为“Assessing Quality of Information without Ground Truth”的报告。报告由中心讲席教授邓小铁老师主持，听众包括来自北京大学信息科学技术学院、数学学院等单位的师生，以及清华大学、中国科学院等单位的科研人员。
Yiling Chen教授报告现场
这次报告中，Yiling Chen 教授从机制设计的角度分析了在没有真相（Ground truth）的情况下如何对信息质量进行评定，并由此设计机制激励人们报出内心真实的想法。Chen老师的工作在信息提取（Information elicitation）、众包（Crowdsourcing）等领域具有重要意义。
无论是众包还是调查问卷，机制设计者总是希望人们根据自己真实想法报出高质量的答案，然后根据信息的质量给予参与者相应的报酬。例如，明天是下雨、晴天或是下雪的概率分别是多少？当参与者给出答案后，我们可以根据第二天的天气情况对这个答案进行评分。为了激励参与者真实地给出答案，我们使用一种称为 Strictly Proper Scoring Rules (SPSR)[1] 的评定规则。
1. Strictly Proper Scoring Rules (SPSR)
SPSR 实现了这样一种激励机制：当参与者按照自己真实的信念 q 进行作答，他获得的报酬最高；而当他给出任何一个不同于 q 的答案 p 时，获得的报酬都会减少。这种评定规则通常使用凸函数来实现，常见的有基于二次函数的 Brier score，基于对数函数的 Logarithmic score 等等[2]。
SPSR除了能够激励参与者报出自己真实的想法外，也可以帮助确定机器学习中的损失函数，这是因为由SPSR可以导出预测分布 p 和真实分布 q 间的“距离”（divergence）。例如，由 Logarithmic score 可以导出著名的 KL散度。Liu 和 Chen[3] 证明了当这种“距离”小时，相应的 SPSR 也会提高。
2. Surrogate Scoring Rules (SSR)
当可以获得真相（Ground Truth）时，我们使用 SPSR 对参与者给出的答案进行评分；那么当没办法获取真相时，该如何对参与者给出的信息进行质量评定呢？而这种情况在现实中相当普遍。例如，使用众包去标记图像的标签（如果我们想获得真相，需要自己去标注，这样就失去了众包的意义）；询问一些假设性/个人偏好比较强的问题等等。
为了解决没有真相的情况下信息质量评定的问题，Chen 老师先对问题进行了简化：假设我们知道真实的偏差。由此构造出了一个新的指标 Surrogate Scoring Rules (SSR)。这个指标在期望意义下等同于使用真相构造出的SPSR。
随后，Chen 老师带大家一起证明了这个指标的性质。当我们知道真实的偏差时，使用 SSR 可以得到和 SPSR 相同的效果。
3. Uniform Dominant Truth Serum (DTS)
当把SSR应用于实际问题时，我们很难直接知晓真实的偏差，只能通过统计估计。Chen 老师设计了一个新的机制，称为 Uniform Dominant Truth Serum (DTS)[3]，来实现多任务的信息评定。DTS只需要知道所有参与者的答案和关于整个任务集1bit 的信息，就可以对参与者的答案就行质量评估，非常强大。
传统的 Peer Prediction 方法更关注不同参与者答案间的相关性，但当一个参与者给出了不诚实的答案时，为了在 Peer Prediction 方法中获得高回报，其他参与者可能也需要谎报自己的答案。而 DTS 更关注参与者答案和可能的真相间的距离，所以可以获得更为有用的信息评定。
Chen 老师最后也展示了她们在不同数据集上的实验效果。
Yiling Chen 老师报告中
Chen 老师报告时细致而认真，深入浅出地讲解了机制设计的基本原理，与会师生均受益良多。
中心邓小铁老师、孔雨晴老师与Yiling Chen老师合影
Reference
[1] Gneiting T, Raftery A E. Strictly proper scoring rules, prediction, and estimation[J]. Journal of the American Statistical Association, 2007, 102(477): 359-378.
[2] Proper Scoring Rules. Yiling Chen. http://www.eecs.harvard.edu/cs286r/courses/fall12/presentations/lecture4.pdf
[3] Liu Y, Chen Y. Surrogate Scoring Rules and a Dominant Truth Serum[J]. arXiv preprint arXiv:1802.09158, 2018.
图文 | 李凯
EconCS@PKU
往 期 报 告
— 版权声明 —
本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。
点“阅读原文”看报告概要等信息