在报告中,Michael Jordan 讨论了如何在学习系统中做出决策,他为此列举出了同时涉及电子商务和学习系统中的经典工作;随后,他从强化学习的角度讨论了序列化的决策;并用了一个小的章节讨论错误发现率(false discovery rate),而并未涉及汤普森采样、郎之万扩散等内容;最后,他简短地讨论了为了支撑这种大规模的活动,我们需要构建怎样的计算机系统,尤其是完成去中心化的异步计算。
Michael Jordan 首先讨论了他眼中的「决策」与「市场」,从这两个方面思考了正在兴起的机器学习浪潮。 一、何为决策 我们不妨思考一下,什么是真正关键的决策?它通常不会仅仅是判断图像中是否有一只猫,或交易中是否存在欺诈行为。这些判断也很重要,但并不是真正的决策。假设你正在看医生,医生会对你进行仔细的检查,获取有关你的大量数据(例如,基因组数据、心率、血压等)。想想一下,这些数据都会被输入给一个巨型的模式识别系统,它可能是一个使用世界上所有医疗数据训练的最大的神经网络,假设该系统预测你将会心脏病发作。那么问题来了,这样的结论是一种「决策」吗?在 Michael Jordan 看来,答案是否定的。在得到预测结论后,你首先会追问:该结论的误差棒图(error bar)情况如何,其不确定性有多大?事实上,「决策」过程往往涉及到不确定性,它在我们的现实生活中无处不在,我们需要对这种不确定性进行管理,这也许就要求我们获取更多的数据。我们想知道,这种不确定性究竟因何而来,是因为我们使用了旧的数据进行预测、使用了旧的机器,还是由于这些数据是从与待预测样本差距较大的人那里收集到的?为了让我们理解这种不确定性,我们需要让医生、或者本例中的人工智能系统向我们给出推理过程。此外,我们还会关心诸如「反事实」之类的事情:假如我们曾获知另一种观点将会如何?假如我运动得更多将会如何?假如我改变自己的饮食习惯将会如何?也许,我会意识到一些过去没有想到的事情(例如,我在童年时期患有某种病,或我的父母层患有某种疾病,等等)。我们认为,神经网络或其它任意的学习系统都无法将世界上所有的数据都考虑到。这是因为,大多数与我们特定决策相关的事情是我们之前从未想到过的,因此也就可能从来没有被记录,只有当我们在做出决策时这些才会思考这些相关的事情。在这里,当我们做出是否采取某种行动的决策时,更多地涉及到「市场」的思想,它取决于我们做决策时的具体环境。此时,「决策」不仅仅是模式识别系统中的一个阈值,它是一个对话式的系统、是对反事实的论证,同时可以引入其它的数据。
通常而言,我们往往需要做出一系列决策,而不仅仅是做出某一个决策。在每个人的日常生活中,我们每天都需要做出一系列的决策,而此时我们就与其他做决策的人联系在了一起。即使在医疗系统中,别人的遭遇也会与我们自己的决策相关,我们需要知道这些结果。Covid-19 的爆发就是例证之一,其中我们所有的治疗方案都需要随着医学知识网络的不断学习而做出调整。因此,我们需要考虑整个大型网络上的误差率,诸如错误发现率(false-discovery rate)这样的指标相较于分类精度、召回率、准确率等指标就更为重要了。我们还应该考虑跨越较长的一定时间(数年)的决策,尤其是在医疗、金融、商业等领域中,决策行为会在很长一段时间内发生(例如,做出投资或者实现某项计划)。需要强调的是,每当我们在一个较大的环境中做出决策时,往往会涉及到其他的决策者,这些决策之间需要进行交互。此时就会涉及到「稀缺性」(scarcity)的问题,由于某些限制,我们无法保证每个人拥有的数据都是相同的。因此,在思考该问题时,我们需要针对这种稀缺性做出一些折中的策略,将它们作为学习系统的一部分。尤其是站在我将提到的「微观经济学」视角上时,我们会讨论不同的参与者,以及它们的价值、效用,并试图找到这些决策者之间的折中策略。此时,每一个决策者都是第一个学习系统,这对于经典的微观经济学来说是一种新的视角,它涉及到「学习」,但绝不仅仅局限于我们现在所关注的「机器学习」。图 1:对传统推荐系统的思考前文提到的某些观点源于 Michael Jordan 对传统推荐系统的思考。传统的推荐系统是经典的模式识别系统,它们挖掘出某位用户的购买模式,并用其预测其他人的购买模式,从而生成推荐结果。这种系统在人们的日常生活中无处不在,它们是机器学习在预测方面的应用,但并非在决策方面的应用。
图 4:从算法的角度看待市场Michael Jordan 指出,我们可以从算法(而不仅仅是学习算法)的角度看待市场,这些算法每天完成着「将食物运送到城市中来」这种任务。这些算法是去中心化的,它们在大规模和小规模的环境下都可以工作,它们也是自适应、鲁棒的,已经在数千年的时间里发挥了作用。这些算法并不是完美的,市场需要被规范化。当我们构建新的市场时,需要引入一些新的思考,而这些原理并不是现成存在的,这也正是我们试图将机器学习引入微观经济学的动机:我们需要创造新的市场和新的思维方式。这也是正在兴起的机器学习工程的一部分,即基于大规模学习的市场的数学原理。图 5:经济学视角下的机器学习问题接下来,Michael Jordan 从经济学的角度讨论了一些现有的机器学习问题:(1)隐私数据分析:当我们从大量人群中获取数据时,我们希望保证这些数据的隐私安全。通常,我们通过差分隐私保护等方式对其进行量化,此时我们向数据中添加一定量的噪声,使我们无法区分相邻数据集(例如,无法确定谁在数据集中)。但是,从经济的角度来说,这里也涉及一些折中策略。如果有人想要获得我们的数据,我们需要甄别他们的意图。如果有人想将我们的医学数据用于研究其家族相关的疾病,那么我们将很慷慨地向他们提欧共那个数据。而如果有人想将这些数据用于设置保险,尽管这对社会有益,但是对我们并不重要,那么我们可能向数据中加入更多的噪声,从而保证差分隐私。我们需要在隐私保护和经济收益之间折中。(2)公平性:在为人们提供服务时,我们希望在某种程度上公平地对待所有的人。由于我们有着不同的目标、喜好、效用,这并不代表我们要以相同的方式对待每个人。从经济学的角度来看,实现公平性意味着我们要更多的考虑每个人的喜好和效用。(3)主动学习与实验设计:在决定应该收集怎样的数据时,我们需要考虑收集数据的目的,还要考虑是否有合作者和对抗者。如果我们有合作者,也许我们可以让合作者去收集数据;而如果我们处于对抗状态下,我们也许不用考虑某些对抗者不会涉猎的分支情况。(4)涉及激励的分类与评估:这是一个新型的研究领域,在很大程度上是机器学习与微观经济学的结合。