机器大脑也要睡眠？-原稿对比

原：我们都希望自己的记忆像硬盘一样牢记不忘，创建了一个记忆文件，保存好，随时准备使用。但是现在的人工智能还没有达到这种记忆表现。

改：我们都希望自己的记忆力像硬盘一样强大：创建记忆文件，保存，随时调取使用。但是现在的人工智能还没有达到这种记忆表现。 

人工神经网络容易发生一种烦人的故障，被形象地称为“灾难性遗忘”。这些看似不知疲倦的网络可以在白天和黑夜里不停地学习任务。但有时，一旦学会了新任务，就会忘记任何旧任务的记忆。就好像你学会了不错的网球打法，但在学会了水球打法之后，突然忘记了如何挥动球拍。 

人工神经网络容易发生一种烦人的故障，被形象地称为“灾难性遗忘”（catastrophic forgetting）。这些看似不知疲倦的网络可以夜以继日地学习任务，但有时，一旦学会了新任务，就会忘记一切有关旧任务的记忆。这就好像你把网球学得相当不错，但在学会了打水球后，突然忘记了如何挥动球拍。 

在自然睡眠中，他发现，人类和蜜蜂的基本脑部过程相同，处理着在清醒时积累的信息。他说：“这个机器可能正在做一些有用的事情”，这就是为什么这些机器要在进化路径上得到保存。所以，他认为，为什么不为机器尝试类似的状态呢？ 

这个想法很简单，只是为人工神经网络提供一些外部刺激的间歇，指示它们进入一种休息状态。像人类大脑一样打盹，网络仍然活跃，但它们不再接受新的信息，而是消化旧信息，巩固并呈现出模式。

他发现，自然睡眠中人类和蜜蜂的基本大脑活动相同，都在处理着清醒时积累的信息。“这个机制可能正在做一些有用的事情”，才在演化过程中得到保存。所以，他想，为什么不在机器身上尝试类似的状态呢？ 

这个想法很简单，只是为人工神经网络提供一些外部刺激的间歇，指示它们进入一种休息状态。像人类大脑打盹时一样，网络仍然活跃，但不再接受新的信息，而是消化、巩固旧信息，寻找其规律。

- Jun Cen -

这些网络似乎与人类大脑中实际发生的事情没有任何相似之处。

原：这个想法行之有效。在2022年末的两篇论文中，Bazhenov和他的同事展示了给神经网络提供类似于睡眠状态的间歇，可以减轻灾难性遗忘的危害。结果发现，机器大脑也需要休息。

改：这个想法行之有效。在2022年末的两篇论文中^[1][2]，巴热诺夫和同事们发现，给神经网络提供类似于睡眠状态的间歇，可以减轻灾难性遗忘的危害^[3][4]。事实证明，机器大脑也需要休息。

认知心理学家和计算机科学家Geoffrey Hinton在上世纪90年代曾经提出过让早期神经网络进行一段小睡眠的想法。但是最新的研究将这一概念应用到了更为复杂的网络上，这些网络被称为“脉冲神经网络”，可以模拟我们大脑中神经元的兴奋模式。这项新的研究还展示了休息的恢复作用，不仅可以预防灾难性遗忘，还可以提高泛化能力。这对于这些网络的实际用途来说具有重要的意义，从网络安全到自动驾驶汽车（需要记住并明智地应用道路规则和Asimov的规则）。

上世纪90年代，认知心理学家和计算机科学家杰弗里·辛顿（Geoffrey Hinton）[5]曾经提出过让早期神经网络进行一段小睡眠的想法[6][7]。但是最新的研究将这一概念应用到了更为复杂的脉冲神经网络上。脉冲神经网络可以模拟我们大脑中神经元的兴奋模式。这项新研究还展示了休息的恢复作用：不仅可以预防灾难性遗忘，还可以提高泛化能力（generalization）。这对于这些网络的实际用途具有重要意义，从网络安全到自动驾驶汽车（需要记住并明智地应用交通规则和阿西莫夫准则*）**。

当然，睡眠对于我们自己的记忆和学习也是必不可少的。在休息时间，我们的大脑似乎会加强在清醒期间形成的新任务相关连接，并帮助将它们转移到大脑的其他区域以供长期储存。研究人员几十年来一直知道，虽然我们可能不会遭受完全的灾难性遗忘，但睡眠不足会干扰我们高效学习新技能和保持记忆的能力。最新的研究甚至表明，我们不需要完全关机就可以改善程序性记忆。简单地静静地休息而不追求新的输入，或者像研究人员所说的，“离线记忆巩固”也适用于人类的大脑。

当然，睡眠对于人类自己的记忆和学习也是必不可少的^[8][9]。休息期间，我们的大脑似乎会加强在清醒时形成的新任务相关连接，并将它们转移到大脑的其他区域以供长期储存。研究人员几十年来一直知道，虽然我们可能不会遭受完全的灾难性遗忘，但睡眠不足会干扰我们高效学习新技能和保持记忆的能力^[10][11]。最新的研究甚至表明，我们不需要完全“关机”就可以改善程序性记忆（procedural memory）。只是静静地休息^[12]而不追求新的输入，或者用研究人员的话说，“离线记忆巩固（offline memory consolidation）”也适用于人类的大脑^[13]。

然而，Robert Stickgold在这里提出了一些警告。Stickgold是哈佛医学院大脑科学倡议的精神病学教授，他研究睡眠和认知。他认为，虽然说我们让一个网络“睡觉”听起来很方便，但是我们不能把这个术语过度使用，不管是为了我们自己还是为了推进网络研究。

然而，罗伯特·斯蒂克戈尔德（Robert Stickgold）[14]在这里提出了一些警告。斯蒂克戈尔德是哈佛医学院大脑科学计划（Brain Science Initiative）*的精神病学教授，研究睡眠和认知。他认为，虽然让一个网络“睡觉”听起来很方便，但是不管是为了我们自己还是为了推进网络研究，都不能滥用这个术语。

Stickgold回忆起几十年前他与麻省理工学院一位研究员的一次对话，这位研究员正在构建早期的人工智能算法来解决复杂的商业问题。Stickgold评论说，这些网络似乎与人脑中实际发生的情况毫不相似。然而他的工程师对话者回答说：“你为什么想让它们相似呢？”

斯蒂克戈尔德回忆起几十年前他与麻省理工学院一位研究员的对话，后者当时正在构建早期的人工智能算法来解决复杂的商业问题。斯蒂克戈尔德评论说，这些网络似乎与人脑中实际发生的情况毫不相似。他的工程师对话者则答道：“你为什么想让它们相似呢？

- Julia Yellow -

后记

本篇是神经现实举办的“机器翻译”大赛的第04篇，ChatGPT翻译和ChatGPT润色的比对情况。

参考文献

[1] https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1010628

[2] https://www.nature.com/articles/s41467-022-34938-7

[3] Golden, R., Delanois, J.E., Sanda, P., & Bazhenov, M. Sleep prevents catastrophic forgetting in spiking neural networks by forming a joint synaptic weight representation. PLOS Computational Biology 18, e1010628 (2022).

[4] Tadros, T., Krishnan, G.P., Ramyaa, R., & Bazhenov, M. Sleep-like unsupervised replay reduces catastrophic forgetting in artificial neural networks. Nature Communications 13, 7742 (2022).

[5]

https://nautil.us/deep-learning-is-hitting-a-wall-238440/?_sp=066b8a6d-93bf-4020-a579-cac6e3c7f450.1684571860554

[6] https://www.cs.toronto.edu/~hinton/csc2535/readings/ws.pdf

[7] Hinton, G.E., Dayan, P., Frey, B.J., & Neal, R.M. The wake-sleep algorithm for unsupervised neural networks. Science 268, 1158-1161 (1995).

[8] https://www.sciencedirect.com/science/article/pii/S0896627304005409

[9] Walker, M.P. & Stickgold, R. Sleep-dependant learning and memory consolidation. Neuron 44, 121-133 (2004).

[10] https://www.science.org/doi/full/10.1126/science.1062856

[11] Maquet, P. The role of sleep in learning and memory. Science 294, 1048-1052 (2001).

[12] https://learnmem.cshlp.org/content/28/6/195.short

[13] Wang, S.Y., et al. “Sleep-dependant” memory consolidation? Brief periods of post-training rest and sleep provide an equivalent benefit for both declarative and procedural memory. Learning & Memory 28, 195-203 (2021).

[14] https://nautil.us/dreaming-is-like-taking-lsd-238098/?_sp=066b8a6d-93bf-4020-a579-cac6e3c7f450.1684573120395

作者：Katherine Harmon Courage | 译者：ChatGPT 

审校：狗尾巴花 | 编辑：光影

排版：盐 | 封面：Nautilus

原文：

https://nautil.us/even-machine-brains-need-sleep-288191/?_sp=5207446d-5644-456f-924a-f8ea5f8de848.1679510215415

微信又改版了，不是常读或星标的公众号，图文推送不再显示封面啦。为获得更好的体验，以及不错过任何一条精美推送，跪求喜欢我们的小伙伴标一个“星标”，这样才能及时收到我们的优质内容。如有转载需要，可直接快捷转载；或在后台回复“转载”，添加bot微信即可，但暂不支持转载到微信外其他平台哦。