中金 | AI十年展望（一）：底层模拟人脑，算力决定上限
AI技术中长期对社会的潜在影响深远，影响几乎所有行业。本文介绍了以深度学习为代表的人工智能理论的基本原理，并指出了由于目前的人工智能具备坚实的数学基础、神经学基础，未来随着底层算力的不断增长，人工智能影响边界将会不断扩宽，行业的发展潜力目前仍处在被市场低估状态。
摘要
AI能够从底层模拟人脑主要工作机制，基于其理论的模型能够达到的智能水平上限较高。人的神经元近似一个基于阈值的二进制的逻辑门，与数字电路0/1的机制相似，深度学习能从底层上模拟人脑神经元工作机制，只要网络层数、神经元个数足够多， AI将在某些维度接近甚至超过人脑智能。人工神经网络4大理论支柱为“阈值逻辑”、“Hebb学习率”、“梯度下降”、“反向传播”，前2个理论解决了单个神经元层面的建模问题，后2个理论则解决了多层神经网络训练问题。2006年Hinton首次实现了5层神经网络的训练，之后行业迎来爆发式发展，不断验证了该技术的潜力。
深度学习具备坚实的数学理论基础支撑。人脑绝大多数活动本质上都是广义计算问题，因此人脑其实是一个复杂的函数，深度学习就是去找到这个函数，万能近似定理则从数学上证明了一定条件下深度神经网络模型能够模拟任意的函数。
用于深度学习的算力以6年30万倍的速度增加，算力是核心瓶颈也是未来提升的关键。从进化角度看，人的智能是一个随着神经元数量提升，从量变到质变的过程，这个量变过程对应人工智能中模型所用算力的提升过程。目前能够实现的AI模型中不论从神经元个数还是连接数量看，与真实人类还有较大的差距，未来随着现有芯片技术的不断推进，和突破冯诺依曼架构的类脑芯片等新技术的发展，算力的持续突破将会不断释放人工智能技术的潜力。
风险
技术进步不及预期，行业竞争加剧。
正文
全文概要
1、为什么说深度学习技术的潜在上限高？
因为深度学习从底层模拟人脑神经元的主要工作机制。智能很大程度是广义计算问题，人工神经网络尽管无法做到完全“复制”人脑，但已经能较好地模拟其主要底层机制，因为神经元可近似为基于阈值的二进制单元，类似数字电路0/1机制。
从生物进化的角度看，人的智能是量变到质变的过程。在完成单个神经元主要工作机制模型后，只要网络层数、神经元个数足够多， AI将在某些维度接近甚至超过人脑智能。
此外，从数学角度，万能近似定理论证了深度学习有坚实的数学基础。该定理证明了深度学习数学模型能够以任意精度逼近任意的函数，而人的智能很大程度即广义计算问题，进而深度学习模型能够模拟人脑的绝大部分活动，具备很高的上限。
图表：人工神经网络首先从单个神经元维度模拟的人脑主要机制，近年来扩展到深度神经网络
资料来源：《Deep Learning Essentials》[1]，IBM，中金公司研究部
2、为什么直到近几年深度学习才爆发？
因为早期都是浅层神经网络，直到2006年才首次实现5层隐层网络的训练。2006年Hinton首次把ANN提升到了5层，解决了深度神经网络的训练问题；2012年Hinton在ImageNet挑战赛中引进深度学习算法，在随后几年内，深度学习成功地大幅降低了图片识别错误率，随后行业迎来爆发式发展，深度学习的商用进程得以加速。
3、深度学习进一步应用深化的主要瓶颈在哪？
算力成本、模型规模。人的智能是量变到质变的过程，这个量变的过程对应着模型规模、算力提升。与之类似，人工智能也正通过积累量变持续提升，最终有望实现质变。在算法不断创新和大数据大规模积累的背景下，算力是AI商业化落地的最本质推动力和重要影响因素。短期看，在技术加持下，芯片制程提升、架构优化将为机器学习提供算力支持，推动人工智能行业的渗透率提升。未来，类脑芯片等相关技术的成熟将或将带来算力的跃升，进而突破算力瓶颈。
4、如何理解深度学习？
深度学习的训练过程本质上就是找到一组参数，使神经网络模型无限逼近我们所期望的输入输出映射，其中神经网络通过损失函数判断自己预测是否准确。工程实践中，参数是由数据驱动调整、并在训练过程中自动生成的，训练者需要调节的是“超参数”。区别于传统模式识别方式，深度学习从大数据中自动学习特征，并能自动地将简单特征组合成更加复杂的特征，进而使用组合特征解决问题。本质上深度学习与大脑皮层认知过程类似，深度学习是一个多层传递、不断抽象的过程，从底层模拟人脑机制。
神经网络：从底层模拟人脑，起点决定上限
AI发展三起三落，连接主义目前占据主导
复盘AI发展3次浪潮
AI历史上产生了3大流派：符号主义、连接主义、行为主义，其中符号主义可称为第一代人工智能，在1980年代之前占据主导。连接主义、行为主义为第二代人工智能，且目前行为主义中融合了较多连接主义的思想与技术，凭借坚实的数学基础、生物学基础从1980年代至今，连接主义在AI发展中逐渐占据主导地位。
图表：AI发展的3次浪潮
资料来源：中国信通院、中金公司研究部
►符号主义（又称为心理学派）在1980年代以前一直占主导地位：符号主义又称为知识驱动方法，该学派认为人类的智能很大部分是按照推理、猜想规则对“词” 进行操作所组成的，该方法具有可解释性，但很难解决复杂问题，在1970年代跌入低谷，但后续学者提出了专家系统、知识工程等思路改进了符号主义，1997年IBM超级电脑“深蓝”击败了国际象棋等级分排名世界第一的加里·卡斯帕罗夫正是基于符号主义理论，但符号主义仍只能解决完全信息和结构化环境下的确定性问题，距离真实的人类认知行为较远。
►连接主义(又称为仿生学派）在21世纪进入发展高潮，目前已经占主导地位：该学派认为神经网络和神经网络间的连接机制能够产生智能。连接主义可追溯到1943年麦卡洛克和皮茨创立的脑模型，但受理论模型、生物原型和技术条件的限制，在20世纪70年代陷入低潮。之后随着深度学习算法的完善、数据和算力的增长，在近二十年迎来大发展，目前处于主导地位。
►行为主义：该学派以控制论的“感知-动作”模式为基础，认为智能行为就是对环境做出感知反应并采取相应行为，希望通过模拟生物的进化机制，赋予机器自适应的能力。20世纪80年代，基于该学派理论的智能控制系统出现，行为主义发展步入新阶段，20世纪末，行为主义提出智能取决于对外界环境的自适应能力的观点，正式由幕后走向台前。
深度学习带动本轮AI发展
AI历史上两次陷入低谷，迎来3轮浪潮。1）1974-1980年，受限于算力、数据，人工智能的学习能力一直原地踏步。当时很多在人类看来很简单的问题在实际解决中需要耗费大量算力，远超已有计算机的运行能力，同时大量数据的缺失也限制了模型的训练。在这一阶段，简单的神经网络能表示的东西很少，受限于算法与数据，可扩展性也比较差，Minsky 与 Papert提出单层感知器无法解决线性不可分问题，而多层网络的训练算法尚看不到希望，人工智能发展迎来了第一次低谷。2）1987-1993 现代PC出现，人工智能再次陷入低潮。在这一阶段，苹果、IBM陆续推出第一台台式机，计算机迅速普及，以Symbolics和Lisp机器为代表的专家系统应用领域狭窄，算力、算法成本过高和无法自我学习更新数据库等缺陷日益显现，而神经网络学习虽然提出了BP算法，但由于算力与数据不足，发展遇到瓶颈，政府AI投入经费开始下降，人工智能第二次寒冬来临。
2006年以后，以深度学习为代表的训练方法的成熟推动AI迎来第三次发展浪潮。学界认为AI第三次浪潮源于2006年Hinton提出的“深度信念网络模型”，这种网络能使用‘贪婪逐层预训练’的策略对模型进行高效训练并快速收敛。这使得之前不可能被有效训练地深度神经网络变得可被训练，大大提升了模型训练效率和输出的准确性，验证了“深度学习”的可行性。行业界认为人工智能的第三次复兴起源于2012年的ImageNet挑战赛，比赛中Hinton的研究小组采用深度学习算法成功地将图片识别错误率降低了10.8pcts。
图表：深度学习使得2012-2016年ImageNet图像识别错误率快速下降
资料来源：机器之心，中金公司研究部
深度学习是机器学习的一个分支，与机器学习同属于人工智能范畴。深度学习是机器学习中一种基于对数据进行表征学习的方法，它通过模拟人脑的神经网络来实现机器的自我学习和知识更新，和机器学习一样都属于人工智能范畴。
图表：人工智能、机器学习、深度学习关系
资料来源：阿里云研究中心、中金公司研究部
关键算法的成熟是深度学习落地的前提。1982年Hopfield神经网络模型和1986年反向传播算法的提出，使得神经网络的理论研究取得了突破。2006年，连接主义的领军者Hinton提出了深度学习算法，使神经网络的能力大大提高。
为什么这个时点爆发？
神经网络起源于1940年代，曾经在八九十年代流行，但是后来相当长的一段时间被学界放弃，2006年至今，特别是2012年之后深度学习后在诸多领域取得成功，核心在于：
① 大数据的出现在很大程度上缓解了训练过拟合的问题。互联网及互联网企业在此轮AI爆发中起到决定性作用，其生产经营活动中创造并积累了大量数据，更激活了整个社会的数据意识。
②摩尔定律下硬件算力的快速提升，使得训练大规模神经网络成为可能：每10年GPU性能增长1000倍。
③ 算法的创新：“贪婪逐层预训练”的机制让深度学习网络的训练变得更可行；算法模型的规模指数级升级。
Hinton提出的“深度信念网络”使用“贪婪逐层预训练”的策略，使得训练深度神经网络模型成为可能，大大促进了深度学习的发展。
2012年的ImageNet挑战赛中，Hinton的研究小组采用深度学习将图片识别错误率降低了10.8ppt，并在之后几年内持续降低图片识别错误率，加速了深度学习的商用。
人工神经网络如何从底层模拟人脑？
人工神经网络(artificial neural network,ANN)的大规模应用依赖于4大理论支柱：
► 阈值逻辑
► Hebb学习率
► 梯度下降算法
► BP算法
其中，阈值逻辑和Hebb学习率主要解决单个神经元层面的建模问题，共同构成了“感知机”的理论基础，在1950s即提出；梯度下降算法与BP算法主要用于多层神经网络的模拟训练中，在1980s以后相继被提出。本节我们主要介绍前两个理论，后两个理论我们将在第三章详细论述。
人脑神经元为阈值逻辑单元，类似数字电路0/1的机制
人脑神经元通过“有或无”电脉冲来传递信息的，类似数字电路中1/0信号的方式。
► 神经元是多输入、单输出的：每个神经元平均有7000个“突触”，用于接收其他神经元传递来的电脉冲。
► “阈值逻辑”是理解神经元的关键：每个电脉冲会“激活”突触内的一些金属正离子从而导致接收神经元细胞壁内电位差产生一定变化。当一个神经元收到足够多的电脉冲, 累积的电位差达到一定阈值时就会引发一个新的电脉冲。这个新脉冲会通过“轴突”的输出结构向其他神经元传播，并且被激活的突触所引发的电位差变化并不依赖电脉冲的强度，而是主要取决于该突触自身的“活性”。
图表：典型的神经元结构
资料来源：mamicode，中金公司研究部
图表：电脉冲在神经元中形成累计电位差
资料来源：《信息在神经元之间的传递》[2],中金公司研究部
人工神经网络支柱1：基于阈值逻辑的M-P神经元
在单个神经元维度上，基于“阈值逻辑”的M-P模型从底层模拟人脑神经元。该模型由McCulloch和Pitts于1943年提出，是一种以阈值逻辑算法为基础，由预先设置的结构和权重组成的神经网络计算模型。模型首先对单个神经元接受来自其它神经元的输入与对应连接权重加权求和，之后通过与预设阈值比较以及经过激活函数的处理，产生最终的输出结果。通过这种模型，能够创建一个神经元网络来判断任何逻辑命题。
图表：M-P神经元模型
资料来源：CSDN，中金公司研究部
人工神经网络支柱2：Hebb学习率
Hebb学习率受大脑神经元启发，是人工神经网络的另一支柱理论，与阈值逻辑共同构成了感知器的基础。Hebb学习率最早由Donald Hebb于1949年提出，该规则认为大脑神经元之间突触的形成和变化会增强彼此的联系，进而促成人脑学习的发生。基于该规则来训练感知器，可以增强来自产生错误预测结果的输入元的连接权重，对M-P模型的参数进行动态调整和优化，增强感知器预测的准确性。
单个神经元行为机制并不复杂，基于阈值逻辑、Hebb学习率的感知机能够较好实现模拟，但核心难度在于更复杂、更深度的神经网络的训练问题。感知机作为人工神经网络的雏形，在20世纪50年代末即被提出，但多层感知机的发展却受限于理论进展较慢，导致人工神经网络在1970s年代进入第一个寒冬期，之后人工神经网络的发展主要是围绕着如何加深层数及解决训练问题而发展。
图表：深度神经网络模型
资料来源：CSDN，中金公司研究部
深度学习神经网络是基于多层感知机理论发展起来的，引入了多个隐藏层并不断优化算法来实现学习效果的提升。1982年，Hopfield提出了连续和离散的Hopfield神经网络模型，模型为单层反馈的循环神经网络，可以实现联想记忆功能；1986年，Rumelhart和McCelland提出非线性连续变换函数的网络误差反向传播算法（BP算法），该算法具有很强的函数复现能力，但容易陷入局部最优解并且随着网络层数的增加训练的难度也越来越大，深度学习神经网络发展陷入低谷；1998年，LeCun使用BP算法训练出用于手写数字识别的LeNet-5模型，该模型在多层感知机上加了一层卷积层，是第一个正式的卷积神经网络模型；2006年Hinton提出了深度信念网络（DBN），通过pretraining的方法实现了训练五层神经网络，掀开了深度学习神经网络复兴的序幕；2012年，Hinton在ImageNet比赛中使用深度卷积神经网络模型AlexNet，成功将图片识别错误率降低了10.8pcts，深度学习神经网络发展迎来高峰期。
图表：从单层、两层到多层神经网络，深度神经网络不断模拟人脑
资料来源：CSDN，中金公司研究部
相比真实的人脑神经网络，目前的人工神经网络模型还差些什么？
深度神经网络和大脑皮层有共通的地方，但仍无法做到完全模拟（例如现实中神经元并不是最底层的单位），具有一定的片面性。
时间尺度单一是目前人工神经网络模型的主要缺陷。在传统的ANN中，基于数值计算，神经元的兴奋度为瞬时更新，且更新速度与连接权重无关。而实际的生物神经元通信是基于膜电压升降的脉冲，其兴奋度并非瞬时变化，衰减也是一个过程，在衰减过程中也有机会向更深的网络传递信息。
第三代神经网络——脉冲神经网络（Spiking Neural Network，SNN）针对此缺陷改进，但训练算法仍不完善，算力瓶颈更明显。目前常见的CNN等属于第二代人工神经网，本质是对神经的脉冲发放频率进行编码，而第三代神经网络SNN考虑了时间信息的影响，通过精确定时的脉冲序列使模型更接近真实的生物神经网络。但第三代神经网络由于训练算法尚未成熟，并且其运算所需的模拟微分方程在常规硬件上运行对算力消耗较大，需要类脑芯片等新一代硬件架构解决算力效率瓶颈问题。
完全“复制”人脑存在较大困难，但高度通用的智能仍有希望实现。目前科学对于人脑的研究尚具有局限性，此外真实人脑神经网络中还存在着诸如胶质细胞、神经递质触发的基因调控、树突脉冲和神经递质触发的蛋白质信号通路等尚未被纳入现有人工神经网络模型的部分，完全“复制”人脑仍相当困难。但另一方面，正如人类在研制飞机的历史上充分借鉴了鸟类的飞行原理，但并未完全“复制”鸟类的飞行原理，最终实现性能上远超鸟类。人脑并非完美，并不一定需要通过完全“复制”人脑来实现所有人脑的功能，现有的神经网络较好地模拟了人脑神经网络的主要底层机制，在算力不断进步的未来具备较高的上限，同时随着人工神经网络技术的不断完善，实现高度通用的智能仍有希望。
图表：三代神经网络演进历程
资料来源：CSDN，中金公司研究部
图表：脉冲神经网络电信号考虑了时间信息的影响
资料来源：CSDN，中金公司研究部
万能近似定理：从数学角度理解AI的上限
以深度学习为代表的连接主义具备坚实的数学理论基础支撑，在大脑活动都是广义计算问题的假说下，已证明总存在一个深度神经网络模型能够模拟人脑所有活动。机器学习的目标某种意义上即找到一个好用的函数，而万能近似定理则从理论上证明了一定条件下深度神经网络模型能够模拟任意的函数。
►万能近似定理（Universal Approximation Theorem）：1989年Hornik的论文从理论证明了，只要给予网络足够数量的隐藏神经元，至少有1个隐含层的神经网能以任意的精度来近似任何从一个有限维空间到另一个有限维空间的可测函数。换句话说，只要激活函数选择得当，理论上一个包含足够多隐含层神经元的多层前馈网络能以任意精度逼近任意复杂度的函数。
►在大脑活动都可以转化为广义逻辑推理的假说下，万能近似定理说明总存在一个递归神经网络能够模拟人脑所有活动。现阶段关于人脑的研究仍存在争议，典型的包括是否所有的意识都是广义的计算问题（包括基于集合论的逻辑演算），著名的哲学逻辑实验中文屋(Chinese room)即讨论这一问题。在所有的大脑活动都可转换为逻辑推理的假说下，RNN已证明是图灵完备的，即可模拟所有的大脑活动。考虑到目前仍未有明确证据证明人的意识中存在部分不属于广义计算问题，且未证明不属于广义计算的部分不能通过逻辑演算拟合，目前看万能近似定理足以证明深度学习模型在模拟人脑智能方面上限很高。
►万能近似定理是存在性定理而并非指导方法，工程实践中，具有一定深度的神经网络模型才具备实用性。万能近似定理证明了仅含有一层的前馈网络的模型即可有效地表示任何函数，即层数少但模型大的神经网络在理论上是万能的，但是这样的模型可能大到难以实现，且无法正确地学习和泛化，所以实践中往“深”的方向去做才有实操性，大多数情况下使用更“深”的模型能够减少表示期望函数所需要的单元的数量，并减少泛化误差。
图表：万能近似定理
资料来源：CSND，中金公司研究部
►万能近似定理是存在性定理而并非指导方法，工程实践中，具有一定深度的神经网络模型才具备实用性。万能近似定理证明了仅含有一层的前馈网络的模型即可有效地表示任何函数，即层数少但模型大的神经网络在理论上是万能的，但是这样的模型可能大到难以实现，且无法正确地学习和泛化，所以实践中往“深”的方向去做才有实操性，大多数情况下使用更“深”的模型能够减少表示期望函数所需要的单元的数量，并减少泛化误差。
算力：6年30万倍，是瓶颈也是未来潜力所在
智能本质是从量变到质变，算力即量变
生物智能进化出人的智能，背后是以算力的量变实现质变
从进化角度看，人的智能是一个随着神经元数量提升，从量变到质变的过程。低级的动物智能进化到人的智能的过程中，并没有明显的分界线，智能本质上是量变到质变的过程，其量变即通过神经元数量增长。实现神经元数量增长有两种方式，一种方式是更大的大脑体积，另一种方式是更优化的大脑结构带来神经元稠密度提高。
► 神经学科研中线虫是常见研究对象，其身体共约1000个细胞，其中302个为脑细胞，全部神经元之间约7000个连接，是人类首次完整研究清楚其神经系统完整图谱结构的动物。从进化的角度看，线虫已经是三胚层动物，分化出消化、生殖系统，已经出现原始的中枢神经系统，具备触觉、嗅觉，且存在对光的感觉。线虫属于最简单的有神经系统的生物之一，其“大脑”能够控制蠕动方式、判断觅食的时机等生理活动，也能针对环境够做出一定的行为决策，具备初步智能。
► 人脑中约有10的11次方个神经元、10的15次方个突触。
图表：生物进化过程中神经元数量增加，持续积累量变
资料来源：《Animal Physiology》[3]，中金公司研究部
生物进化的量变过程，对应人工智能中模型所用算力的提升过程。与生物智能类似，人工智能也正在通过积累量变持续提升，最终有望实现质变。人工智能模型的算力提升主要通过提升深度学习中层体的深度和每层神经元的连接绸密度，从而实现神经元总数量和单个神经元连接的数量提升，从这两个维度逐渐接近高等生物的水平。目前，在单个神经元连接的数量上，人工智能模型已经能够做到接近哺乳动物中老鼠的水平（10^3）；从神经元总量来看，深度模型神经元总数从1985的蛔虫水平（10^2）跨越到了蜜蜂的量级（10^6），但和人类还有较大的差异。根据相关预测，到21世纪50年代人工神经网络有望具备与人脑相同数量级别的神经元与连接稠密程度。
图表：近年来深度学习模型的神经元总量持续提升，但与人类还有较大差异
资料来源：《Deep Learning》[4]，中金公司研究部
算力成本下降是深度学习商业落地的主要推动力
算力、算法、数据三要素中算力是最本质推动力
推动深度学习高速发展的三大要素（算力、算法和数据）中，算力是主要的推动力。神经网络起源于1940年代，在1956到2005年间依次经历启动期-低谷期-突破期-低谷期，在2006年之后进入高速发展期，特别是2012年之后深度学习后在诸多领域取得成功，几个关键原因包括互联网带来的大数据很大程度上缓解了模型训练过拟合的问题，算法的创新以及摩尔定律下硬件算力的快速提升，同时数据储存成本大幅下降，使得储存大量的训练数据经济上可行。其中算力提升是商业落地层面主要的推动力，使得训练大规模神经网络成为可能。
图表：算力的提升是AI商业落地的重要推动力
资料来源：CSDN，中金公司研究部
现阶段（弱人工智能）算力是影响AI发展的主要因素。2012~2018年芯片的计算性能提升了30多倍，但从AlexNeT到AlphaGo Zero，算法对算力的需求却提升了30万倍。以2020年人工智能研发公司 OpenAI研发的GPT-3为例，其训练数据量和模型规模成千倍增长，模型训练使用了算力接近全球top5超级计算机的算力水平，训练费用高达 460 万美元。
图表：大规模预训练模型发展历程
资料来源：MEET 2021智能未来大会，中金公司研究部
图表：大规模预训练模型规模
资料来源：MEET 2021智能未来大会，中金公司研究部
芯片方面，更适合大量并行运算的GPU芯片被作为机器学习的主要计算工具。人工智能中使用的机器学习模型是通过模拟生物神经系统来建立的数学网络模型，需要大量数据来训练模型，对计算机处理器的要求是需要大量并行计算。传统的CPU擅长统领全局等复杂操作，但不擅长处理并行计算场景。而GPU擅长重复计算大量数据，因此多用于机器学习算法。GPU提供多核并行计算能力，核心数量多，拥有更高的浮点运算能力和访存速度，大大提升DNN的训练速度。
图表：GPU/CPU芯片差异
资料来源：36氪，中金公司研究部
深度神经网络对计算芯片的需求主要围绕解决两个问题展开：（1）解决AI计算芯片和存储间数据通信需求，AI模型中，大量运算资源被消耗在数据搬运的过程。芯片内部到外部的带宽以及片上缓存空间限制了运算的效率；（2）在控制功耗的同时不断提升专用计算能力，对AI芯片进行定制，在特定场景下实现AI芯片的高性能和低功耗，解决对卷积、残差网络等各类AI计算模型的大量计算需求。
图表：AI芯片在解决数据通信和功耗问题持续进步
资料来源：CSDN，中金公司研究部
未来展望：类脑芯片有望推动AI产业跃升
短期看，摩尔定律的推进仍将明显推动人工智能行业的渗透率提升
短期看，芯片制程有继续提升的空间。过去120年里，半导体行业为追逐摩尔定律，持续投入大量研发来提升芯片效能，降低单位制造成本。随着当前芯片制程降低到10nm以下，逐渐接近硅原子直径，高温和漏电等问题使制程提高变得越来越困难，行业内出现唱衰摩尔定律的声音。但我们认为，行业当前具备延续摩尔定律的技术工艺，3nm制程预计在未来几年内量产，行业短期内将继续朝着更高的计算密度、更大的储存密度和更紧密的连接程度前进。
图表：处理器相对VAX11—780计算机的性能增长
资料来源：《Computer Architecture》[5]，中金公司研究部
图表：异构芯片组合各类芯片并发挥其长处
资料来源：Intel，中金公司研究部
异构集成技术等技术有望持续改进芯片，延续摩尔定律，为机器学习提供算力支持。晶体管结构的优化有望延续摩尔定律，继续提高算力，支持人工智能行业持续渗透。一方面，晶体管结构由平面型向3D立体化演进；另一方面，芯片向异构集成过渡，将不同尺寸、制程和材料的芯片组合，实现“协同计算、彼此加速”，从而突破CPU发展的瓶颈，有效解决单核、多核芯片的性能、能耗和可扩展性的问题。
中长期看，算力的跃升需要类脑芯片相关技术的成熟
冯诺依曼架构中内存与计算单元分离，导致传统芯片存在性能瓶颈。CPU、GPU、FPGA以及ASIC等冯诺依曼架构下的芯片基本结构特征是内存与计算单元分离，从而实现可编程、通过软件化实现同一硬件平台不同功能的效果，但也因此存在着内存单元与计算单元之间通信延迟、存储带宽的限制。类脑芯片概念1989年由加州理工米德提出，但由于技术成熟度较低，并且摩尔定律持续发展推动着传统冯诺依曼架构芯片的性能持续增长，导致在之后的十余年间类脑计算陷入沉寂。2004年前后单核处理器主频停止增长，类脑芯片研究逐渐重回热点。近年来随着摩尔定律的放缓，传统冯诺依曼架构的性能瓶颈问题愈发凸显，类脑芯片的发展进入加速阶段。
图表：传统冯诺依曼框架下，计算和储存分离
资料来源：CSDN，中金公司研究部
图表：类脑芯片模拟人脑突触结构
资料来源：Nature Electronics[6]，中金公司研究部
类脑芯片模拟人脑结构，从底层架构上突破传统冯诺依曼框架，或成为算力跃升、颠覆现有芯片技术重要突破口，是走向通用智能的重要技术。冯诺依曼架构中总线为数据通道，且处理单元和内存相互独立，时序较为集中，CPU、GPU、ASIC等传统芯片均基于冯诺依曼架构，在人工智能应用中不能从根本上解决高功耗和计算能力瓶颈的问题，人们受神经计算科学启发，在设计芯片时从架构上突破、模仿大脑结构。未来类脑芯片或将具备如下特点：
►存算一体：冯诺依曼架构中存储单元与计算单元相互独立，但在人脑中，神经元同时具备计算和存储功能，类脑芯片通过架构的突破实现存算一体，性能大幅提升。
►高度并行：人脑具有较高的并行特征，能够同时处理多种复杂任务。
►大规模、低功耗：人脑具有低功耗特点，在处理多种复杂任务的情况下功耗仅约20W，远低于目前AI所需要的功耗。以典型的基于GPU处理单一简单任务的模型为例，功耗在几百瓦级别。
图表：存算一体芯片的发展情况
资料来源：《Nature Electronics》[7]，中金公司研究部
中长期视角看，我们认为类脑芯片将会成为人工智能算力进一步跃升、走向通用智能的重要技术。目前全球主要国家都通过企业或高校等科研机构在类脑计算上投入了大量资金，希望在类脑计算领域取得突破，加速AI在各个垂直场景的落地。根据 Gartner 分析报告，类脑芯片最快将于 2023 年成熟，能效比有望较当前芯片高 2-3 个数量级，2024 年将达到 65 亿美元市场规模。但与CPU、GPU、ASIC等依靠冯诺依曼结构的芯片相比，目前类脑芯片暂时处于概念和试验阶段，成熟度离大规模商业用尚有一定距离，尚未形成事实的产业标准，产业蕴藏大量发展机会。
图表：全球主要类脑计算硬件平台
资料来源：中国电子产业信息发展研究院，中金公司研究部
怎么理解AI目前的阶段?
AI从概念到商用经历六十年，现在的AI仍处于商用早期，潜力很大。AI最早于1956年达特茅斯会议上被科学家提出，2016年AlphaGo引发了资本对AI的关注，2017出现大批头部企业将AI应用到智能语音、人脸识别、无人驾驶和医疗政法等多个垂直行业，从概念到商用，AI技术经历了六十年的成长。
AI技术在不同垂直行业进度不尽相同， 其技术积累具有复利效应。AI技术的特点是技术复杂，前期投入较大，但是一旦开始商用，其未来收益会越来越大，未来有望成为智能时代的基础设施。目前AI技术在to C、to B和to G主要通过智能硬件、行业解决方案和智能城市运营商的方式落地，应用范围广阔。
就商业化来看，AI技术还处于早期，仍然存在不成熟的地方。目前AI存在两大缺陷：
►计算量庞大，如果有新的数据需要学习，不能简单把训练好的模型封装到用户端，则终端设备很难支持。
►深度学习呈现出不可解释的特点，对使用者而言其内部运作可类比黑箱。在实际应用中，我们关注的是输入与对应输出，而深度学习的内部具体机制则体现出不可解释性，这是一直以来学界和商业界质疑深度学习的地方，不可解释性意味着很难针对问题定向优化。
算法：如何零基础理解深度学习？
如何零基础理解深度学习算法？
从单个神经元，到多层神经网络建模
根据万能近似定理，符合条件的ANN 模型能够逼近任意函数。人工神经网络4 大理论支柱中的“阈值逻辑”、“Hebb 学习率”解决了单个神经元建模的问题，感知机能够表征单个生物神经元的主要特性，其核心的参数在于每个输入所赋予的权重w及阈值b。进一步地，基于单个感知机模型，我们可以建立包含隐含层的多层感知机模型，即人工神经网络，其核心参数为一组权重参数w及阈值参数b（在较复杂模型中参数量上亿）。根据第一章提到的万能近似定理，该ANN模型能够逼近任意函数，所以问题转换为找到合适的参数使该模型无限逼近所需的函数。
图表：单个神经元数学模型
资料来源：CSDN，中金公司研究部
图表：ANN人工神经网络数学模型
资料来源：CSDN，中金公司研究部
如何找到参数（权重、阈值），使模型逼近所需任意函数？
机器学习的本质就是找到一个好用的函数模型，能够实现输入和输出的映射，上文讲到基于多层感知机的ANN模型能够逼近任意函数，所以深度学习的过程即是找到一组参数，使我们的ANN模型无限逼近我们所期望的输入输出映射。此过程如下：
1、建立损失函数+准备数据
神经网络通过损失函数判断自己预测是否准确，损失函数是指导模型学习的关键：损失函数即预测值和实际值之差。损失函数呈漏斗形，且由w和b决定。神经网络学习过程即调整权重、阈值两个参数组的过程，大脑对于事物的记忆分布式地存在于神经网络中，本质上神经元之间的权重、阈值对应人脑中对于特定事物的“记忆”的具化。
图表：典型损失函数呈漏斗型
资料来源：CSDN,中金公司研究部
图表：梯度下降算法
资料来源：CSDN，中金公司研究部
2、通过算法找到使损失函数最小的一组参数（典型复杂模型中参数量上亿）
训练即找到参数使损失函数最小（即给定输入后，模型输出最逼近真实结果输出）。神经网络学习的本质，就是利用损失函数，来调节网络中的权重和阈值参数，这其中常见的算法包括ANN四大理论支柱中的“梯度下降” 和“BP”。
► 梯度下降：梯度下降本身是个较古老的方法，在18世纪即被提出，到1983年俄国数学家改进了该算法，使其在深度学习训练中实用性更强。在上图模型中，训练即通过梯度下降算法来一步步更新w和b值，使损失函数逐渐接近最小值。
► 反向传播（Back propagation，BP算法）: 本质是是用来计算梯度的方法，通过BP可以推算出梯度下降变化率，用于多层前馈神经网络的训练，在1986年被以Rumelhart和McClelland为首的科学家提出。
► 深度神经网络始于2006年，亨顿解决了局部最优解问题，将隐含层数提高到7层，让ANN具备真正意义上的“深度”。随着隐含层数的增加，损失函数会出现很多局部最小值，寻找损失函数的最优解变得越来越困难。2006年，连接主义的领军者Hinton提出了深度信念网络，利用预训练方法在一定程度上解决了局部最优解的挑战，使神经网络的能力大大提高。
图表：基于梯度的优化方法
资料来源：deep-imba，中金公司研究部
图表：深度学习算法发展关键节点梳理
资料来源：CSDN，中金公司研究部
参数在训练中由数据驱动、由算法自动生成，训练者需要调节“超参数”
神经网络的学习，某种意义上就是调整权重、阈值两个参数，但参数是由数据驱动调整、在训练过程中自动生成的，我们所谓的“调参数”是调节“超参数”（基于软件框架）。神经网络训练的最终目标是找到一套合适的模型参数，可以简单理解为神经网络权重w和阈值b。但参数本身是数据驱动的，在训练过程中根据算法自动更新生成的。在基于软件框架的基础上，超参数是我们在训练过程中的“调节旋转”，由人工训练者输入并调整优化，用于控制模型的结构和效率等，常见的超参数包括学习率、迭代次数、隐层数目和批量样本数等。
图表：常见超参数
资料来源：CSDN，中金公司研究部
以图像识别为例，理解深度学习
图像通过转换为数据矩阵输入，CNN为常见的图像识别神经网络模型。以图像识别为例，因为任何像素点都可分解为RGB三原色，故任何图片都可转换为相应的矩阵数据作为神经网络的输入。CNN为图像识别常用神经网络，在ANN基础上加了一层卷积层，解决了处理图像识别问题时数据量庞大的问题，且能减轻过拟合问题。
图表：机器通过矩阵将视觉数字化
资料来源：deep-imba，中金公司研究部
基于人工神经网络ANN衍生出CNN、RNN、GAN等多类模型，在不同领域各有优势。
►CNN：卷积神经网络，机器视觉常用，CNN往往包含卷积层、池化层、全连接层。常规的ANN输入与隐层单元为全连接，导致处理图像识别问题时计算量较大，而卷积运算则相当于特征提取的方式，每个隐层单元只与部分输入单元连接，故通过卷积运算可将数据量庞大的计算问题降维，体现了平移不变性，从而提高最终训练效率。
►GAN：生成式对抗网络，常用于数据生成或非监督式学习应用。框架中同时训练两个模型， 两个网络相互竞争，最终达到一种平衡，常用语图像生成、语义分割等。
►RNN：递归神经网络，引入了时间维度，适用于处理时间序列问题，网络具有记忆能力。基于RNN又衍生出长短记忆网络(LSTM)，实现长期记忆特性。
图表：典型CNN结构（以LeNet-5为例）
资料来源：CSDN，中金公司研究部
与大脑皮层认知过程类似，深度学习是一个多层传递、不断抽象的过程
深度学习机器视觉受人脑工作原理启发，底层机制相似
人脑识别图像是一个多层传递、不断抽象的过程，大脑不同皮层遵循边缘细节—几何形状—颜色—整体的认知顺序。根据视觉机理领域的相关研究，人类大脑的视觉皮层具有分层结构，在认知具体图像时，人眼看到的物体成像在视网膜上，视网膜把光学信号转换为电信号并传送到大脑的初级视觉皮层（V1皮层），V1皮层处理完一些细节、特定方向的图像信号后将信息传导给V2皮层，V2皮层将轮廓信息表示成简单形状，然后交由V4皮层处理颜色信息，最终复杂物体在IT皮层被表示出来。即从不断从低层中抽象出某些特征，作为新一层的输入继续抽象出更加复杂的特征如此多次重复迭代，直到大脑可以辨别出信号。
卷积神经网络受人脑工作原理启发，从底层模拟人脑视觉机制。卷积神经网络包含多个卷积层，每个卷积层又由多个卷积核构成，它利用这些卷积核扫描图像得到称为“特征图”的输出数据。网络前面的卷积层有小的感视野，主要捕捉图像局部信息，后面的卷积层感受野逐层提高，实现捕捉更复杂抽象的信息，最终得到不同尺度抽象表示的图像信息。
图表：人脑识别图像信息是一个逐渐抽象的过程
资料来源：CSDN，中金公司研究部
深度学习机器视觉与传统CV的区别在于自动识别特征
►深度学习全称深度神经网络，本质上是多层次的人工神经网络算法，即从结构上、从最基本的单元上模拟人脑运行机制。人脑大概有1000亿个神经元，1000万亿个突触，而功耗只有10~20瓦。
►与传统模式识别方式采用手工设计的特征不同，深度学习从大数据中自动学习特征。好的特征可以大幅提高模式识别系统的性能。深度学习能够自动地将简单的特征组合成更加复杂的特征，并使用这些组合特征解决问题。
►深度学习的概念源于人工神经网络的研究，是为了让层数较多的多层神经网络可以训练，能够运行起来而演化出的一系列的新的结构和方法。普通神经网络可能只有几层，深度学习可以达到上千层。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
图表：深度学习与传统机器视觉的差异在于自动提取特征点
资料来源：CSDN，中金公司研究部
[1] Wei Di, Anurag Bhardwaj, Jianing Wei, 2018年
[2] 杨静修，2007年
[3] Sherwood L，Klandorf H，Yancey P ，2012年
[4] Ian Goodfellow, Yoshua Bengio, 2017年
[5] John Hennessy，David Patterson，2017年
[6] https://www.nature.com/articles/s41928-020-0435-7
[7] https://www.nature.com/articles/s41928-020-0435-7
文章来源
本文摘自：2021年7月13日已经发布的《人工智能十年展望（一）：底层模拟人脑，算力决定上限》
陈星宇 SAC 执证编号：S0080121020020
于钟海 SAC 执证编号：S0080518070011 SFC CE Ref：BOP246
法律声明
向上滑动参见完整法律声明及二维码