PNAS：人脑和机器在持续学习任务中的差异 | 唧唧堂论文解析
picture from Internet
解析文章首发于唧唧堂网站www.jijitang.com
解析作者 | 唧唧堂心理学研究小组：Rose； 审校编辑 | 悠悠 濛濛
本文是针对论文《人脑和机器在持续学习任务中的差异（Comparing continual task learning in minds and machines）》的一篇论文解析，该论文于2018年10月发表在《美国科学院院报（Proceedings of the National Academy of Sciences of the United States of America）》杂志上。该研究的作者包括Timo Flesch，Jan Balaguer，Ronald Dekker，Hamed Nili，Christopher Summerfield。
前言
人类可以在一生中学习完成许多种不同的任务，大脑可以在没有相互干扰的情况下表达任务信息。例如，人类可以毫无困难地根据多个按序列出现的维度，即根据多个潜在的正交规则，对固定刺激集进行分类，且互不干扰。但是在机器学习中，这种持续学习（continual learning）是一个尚未解决的难题。尽管在随机抽取训练样本（交错训练，interleaved training）时，监督神经网络处于高性能水平，但是它仍无法持续学习。在学习过A要去学习B时，系统会优化网络参数以满足B，覆盖A的相关知识，造成对于A的灾难性遗忘（catastrophic forgetting），即在学习B后，几乎彻底遗忘掉A的内容。
目前，有一种理论将神经网络研究与神经生物学的观点结合起来，试图解释持续学习的原因。该理论认为海马会将正在进行的体验与过去训练样本的回忆相结合，使记忆在真实状态中得以重现。这个过程通过防止对每个任务的连续过度拟合，及时地去关联性输入，避免了神经网络中的灾难性干扰。
在心理学研究中，关于交错式训练和封闭式训练（blocked training）孰优孰劣众说纷纭。几项研究表明了在体育运动、语言翻译、数学概念方面交错式训练的优势，因为这一过程允许任务集不断地从记忆中提取，而且通过在连续实验中对不同类别的项目进行比较，提高了其显著性及稳定性。此外，也有研究表明封闭式训练可提高复杂运动任务中的表现。在类别学习过程中，封闭式训练能更好地帮助被试学习可表达的类别，而交错式训练促进了需要集成不同特征维度的类别学习。也就是说，当示例具有更高的类别内变异性时，封闭式训练更有效，而当示例具有更高的类别间变异性时，交错式训练更有效。
然而，这些来自类别学习的结论并不能用来解决神经网络中持续学习的问题，因此，我们的研究目的为比较人类和神经网络提高持续任务绩效的机制。要注意的是，我们不是在研究允许任务切换的控制过程，而是由两个正交任务规则组成的一般问题如何仅通过试错来学习。
研究过程及结果
实验一
实验概述：本实验主要是教人类/机器根据树木的多叶/少叶（任务A）和多枝/少枝（任务B）进行分类并请每位被试都参与到一个有两种不同花园（南/北）的虚拟园艺任务中，每次训练包括线索→刺激→反应→反馈的流程，通过反复试验，被试需要学会在每个花园中哪种树长得最好。
被试：352名男性和231名女性，平均年龄为33.3岁。
实验设计：实验1a和1b均为组间设计，1a为基线组（如图1-D），1b为对角线组（如图1-E），包括训练阶段（400次试验）和测试阶段（200次试验），训练阶段又包括封闭式训练和交错式训练。
实验程序：花园作为背景线索呈现→呈现树木，请被试选择是否种植→提高或减少奖励，树木会根据此成比例地增长或收缩（测试阶段不提供此部分反馈）。
实验结果：相较于交错式训练（INT，如图1-F），人类（而非机器）在封闭式训练（B200，如图1-F）后更能促进对于正交规则的学习，即在没有任何任务切换训练的情况下，任务切换反而变得更容易。
实验二
实验概述：本实验采用竞技场任务（arena task）来进行重复检验，根据树木的相似/相异程度进行手动排列，进而估计在先验刺激前的排列在多大程度上匹配在后续分类任务中的叶×枝网格，并量化被试在叶和枝这两个主要特征轴上对刺激变化的优先敏感性。实验设计同实验一，实验2a和2b均为组间设计，2a为基线组，2b为对角线组。
实验结果：
①B200的学习效果更好。
②群体和模型的交互作用显著。在a组中，倾向于在先验刺激中正交地表示叶和枝的被试在B200训练中获益更多（如图4-A）。
③相较于交错式训练，B200训练条件下高网格优先敏感性的被试在因子分解的学习，包括因子分解模型和人类选择矩阵的拟合程度更高（如图4-B）。
④在b组中，高网格优先敏感性但与训练方案没有交互的被试表现更好。
实验三
实验概述：本实验训练了人工智能来完成此项任务，将卷积神经网络（convolutional neural networks，CNN）分别在封闭式训练和交错式训练条件下进行基线任务和对角线任务的训练，并使用没有反馈优化的测试对分类性能进行定期评估。
实验结果：与已有研究的结果一致，人工智能在交错式训练下的成绩要显著好于封闭式训练下的成绩，后者会引起灾难性干扰。
结论与讨论
本研究证明了封闭式训练可以提高人类持续学习绩效，即使在测试阶段刺激是交错出现的。这主要是由于封闭式训练允许个体将高维图像压缩至不同的、特定于各类独立规则的识别轴上，也就是说封闭式训练可以促进个体对任务空间结构的理解。这一结果对当今机器学习计算模型提出了挑战，因为一般情况下，测试的表现通常在很大程度上取决于等效训练。
本研究主要集中于理解网络在封闭式训练中形成的表示，以及如何通过暴露于无监督的预训练来改变这些表示。我们发现使用深度生成模型作为CNN的特征提取器可以部分防止灾难性遗忘。但是仍然存在一些问题，例如很难将一个个体一生的丰富视觉经验和概念知识带到实验室中，且本研究只集中于根据两个正交规则对单个刺激集进行分类的情况，还需要进一步工作来探讨这一发现是否能推广到其他情况中。
参考文献：
Timo Flesch, Jan Balaguer, Ronald Dekker, Hamed Nili, & Christopher Summerfield. (2018). Comparing continual task learning in minds and machines. Proceedings of the National Academy of Sciences of the United States of America, October 30, 2018 115 (44) E10313-E10322.
点击“阅读原文”，查阅更多作者在唧唧堂的论文解析
推荐
订阅
读论文，答问卷，看解析
唧唧堂论文导读，让学术阅读更简单
扫码订阅