新研究表明，深度神经网络的功能存在局限性

脑机接口社区 2023-02-08

@来源：ScienceAI

编辑 | 萝卜皮

深度神经网络应用越来越广泛，性能越来越强大，帮助设计微芯片，预测蛋白质折叠，并在复杂游戏中胜过人类。然而，最近剑桥大学和奥斯陆大学的研究人员发现，这些人工智能系统实际上可以达到的稳定性和准确性存在基本的理论限制。
科学家们补充说，这些发现可能有助于阐明人工智能在哪些方面是可行的，哪些是不可行的。
该研究以「The difficulty of computing stable and accurate neural networks: On the barriers of deep learning and Smale’s 18th problem」为题，于 2022 年 3 月 16 日发布在《Proceedings of the National Academy of Sciences》。

论文链接：https://www.pnas.org/doi/10.1073/pnas.2107151119
在人工神经网络中，被称为「神经元」的组件被输入数据并协作解决问题，例如识别图像。神经网络反复调整其神经元之间的联系，并查看由此产生的行为模式是否能更好地找到解决方案。随着时间的推移，网络会发现哪些模式最适合计算结果。然后它采用这些作为默认值，模仿人脑中的学习过程。如果一个神经网络拥有多层神经元，它就被称为「深度」。
尽管深度神经网络正越来越多的用于实际应用，如分析医疗扫描和增强自动驾驶，但现在有压倒性的证据表明，它们往往是不稳定的——也就是说，它们接收到的数据稍有改变，就会导致结果的剧烈变化。例如，之前的研究发现，改变图像上的一个像素可以让人工智能认为马是青蛙，而医学图像可以以肉眼无法察觉的方式进行修改，并导致人工智能 100% 地误诊为癌症。
以前的研究中，有数学证据表明，存在用于解决各种问题的稳定、准确的神经网络。然而，在一项新的研究中，研究人员现在发现，尽管理论上可能存在稳定、准确的神经网络来解决许多问题，但矛盾的是，实际上可能没有算法能够成功地计算它们。
「从理论上讲，神经网络可以实现的限制很少。」英国剑桥大学的数学家 Matthew Colbrook 说。
当试图计算这些神经网络时，问题就出现了。「数字计算机只能计算某些特定的神经网络。」挪威奥斯陆大学的数学家 Vegard Antun 说，「有时计算一个理想的神经网络是不可能的。」
这些新发现可能听起来令人困惑，好像有人说可能存在一种蛋糕，但不存在制作它的配方。
「我们会说问题不在于配方。相反，问题在于制作蛋糕所必须的工具。」剑桥大学的数学家 Anders Hansen 说，「我们说可能有蛋糕的配方，但无论你有什么搅拌机，你都可能无法制作出想要的蛋糕。此外，当你尝试在厨房用搅拌机制作蛋糕时，你会得到一个完全不同的蛋糕。」
依此，继续进行类比，「甚至在你尝试之前无法判断蛋糕是否不正确，然后为时已晚。」Colbrook 说，「然而，在某些情况下，你的搅拌机足以制作你想要的蛋糕，或者至少可以很好地近似于该蛋糕。」
这些关于神经网络局限性的新发现与数学家 Kurt Gödel 和计算机科学家 Alan Turing 关于计算局限性的先前研究相呼应。粗略地说，他们揭示了「有些数学陈述永远无法被证明或反驳，还有一些基本的计算问题是计算机无法解决的。」Antun 说。
这项新研究发现，无论算法可以访问多少数据或该数据的准确性，算法都可能无法针对给定问题计算出稳定、准确的神经网络。Hansen 表示，这类似于图灵的论点，即无论计算能力和运行时间如何，计算机都可能无法解决一些问题。
「计算机可以实现的功能存在固有的限制，这些限制也会出现在 AI 中。」Colbrook 说，「这意味着关于存在具有良好特性的神经网络的理论结果，可能无法准确描述现实中可能发生的事情。」
这些新发现并不表明所有神经网络都存在完全缺陷，但它们可能仅在有限的情况下证明是稳定和准确的。「在某些情况下，可以计算出稳定且准确的神经网络。」Antun 说，「关键问题是『在某些情况下』的部分。最大的问题是找到这些案例。目前，人们对如何做到这一点知之甚少。」
研究人员发现，神经网络的稳定性和准确性之间经常存在权衡。「问题是我们想要稳定性和准确性。」Hansen 说，「在实践中，对于安全相关的关键应用，人们可能不得不牺牲一些准确性来确保稳定性。」
作为新研究的一部分，研究人员开发了他们所谓的快速迭代重启网络（FIRENET）。当涉及分析医学图像等任务时，这些神经网络可以提供稳定性和准确性的结合。这些关于神经网络局限性的新发现并不是为了抑制人工智能研究，而是可能会激发新的工作来探索改变这些规则的方法。
「从长远来看，弄清楚什么可以做什么和不可以做什么对人工智能研究来说是健康的。」Colbrook 说，「请注意，Turing 和 Gödel 的负面结果引发了数学基础和计算机科学方面的巨大变化。这分别导致了现代计算机科学和现代逻辑的大部分发展。」
例如，这些新发现意味着存在一种分类理论，用于描述哪些具有给定精度的稳定神经网络可以通过算法进行计算。使用之前的蛋糕类比，「这将是一个分类理论，描述了哪些蛋糕可以用物理上可能设计的搅拌机烘烤。」Antun 说，「如果无法烘烤蛋糕，我们想知道一个人与您想要的蛋糕类型有多接近。」
相关报道：https://spectrum.ieee.org/deep-neural-network

仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！

更多阅读

这次遥控大脑实验成功了，却把网友们吓坏了

无屏幕BCI系统也有强大的分类性能

动皮层在运动控制作用中的观念性转变

脑-机交互运动训练的神经反馈方法及康复应用

新加坡国立大学生物工程系诚招博士后--脑机接口等方向

运动想象脑机接口中模式识别方法研究

脑机接口如何改变未来？

加入社群

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。