人工智能时代,我们需要什么样的芯片?| 码书
作者 | 特伦斯谢诺夫斯基
责编 | 屠敏
本文内容经授权摘自《深度学习 智能时代的核心驱动力量》
从AlphaGo的人机对战,到无人驾驶汽车的上路,再到AI合成主播上岗......无形之中,人工智能正以前所未有的发展速度渗透我们的日常生活。而作为人工智能的核心技术之一,人工智能芯片也向来备受关注。
近几年,谷歌、苹果、微软、Facebook、英特尔、高通、英伟达、AMD、阿里巴巴、百度等科技巨头纷纷入局,开始自主研发人工智能芯片。而在此趋势之下,作为 IT 从业者,你是否有了解芯片的起源?又是否想过下一代芯片需要具备哪些特性才能更好地满足我们的需求?
接下来,我们将从世界十大AI科学家之一特伦斯·谢诺夫斯基的《深度学习 智能时代的核心驱动力量》技术图书中一窥究竟。
新一代芯片的趋势
我们正在目睹电脑芯片行业一个新格局的诞生。该领域的竞争主要在于如何设计和制造新一代的芯片,能够运行学习算法——不管是深度学习、强化学习还是其他的学习算法——比在通用计算机上的模拟学习算法快上几千倍,能耗也更低。新的超大规模集成电路芯片采取并行处理结构,带有内存,能够缓解在过去 50 年里主导计算的顺序冯·诺依曼构架中内存和中央处理器之间的瓶颈。在硬件层面,我们还在探索阶段。每种具有特殊用途的超大规模集成电路芯片都有不同的优点和局限性。运行人工智能应用的大型网络需要巨大的运算能力,因此,构建高效的硬件有着巨大的赢利空间。
主要的电脑芯片公司和初创公司都在开发深度学习芯片上投入了大量资金。比如,2016 年,英特尔用 4 亿美元并购了 Nervana,这是一家来自圣迭戈的初创公司,主营设计深度学习的专用超大规模集成电路芯片。Nervana 前 CEO 纳维恩·饶(Naveen Rao)现在负责领导英特尔新设立的 AI 产品部,直接报告给英特尔的 CEO。2017 年,英特尔用 153 亿美元并购了 Mobileye,该公司专注于生产自动驾驶汽车的传感器以及计算机视觉系统。英伟达(Nvidia)开发了能够优化图形应用程序和游戏的专用数字芯片,称为图形处理器(graphics processing units,GPUs),目前正在销售更多为深度学习和计算设计的专用芯片。而谷歌则设计生产了一种更为高效的专用芯片——张量处理单元(tensor processing unit,TPU),以助力为其互联网服务的深度学习。
不过研发专用软件和发展深度学习应用同样重要。谷歌开源了它的深度学习项目 TensorFlow,尽管该做法并没有看起来那么无私。比如让安卓系统免费开源,就给了谷歌对全世界绝大多数智能手机操作系统的控制权。现在除了 TensorFlow,还有其他一些开源选择,比如微软的 CNTK,亚马逊和其他大型互联网公司支持的 MVNet,以及其他深度学习程序,比如 Caffe、Theano 和 PyTorch。
神经形态芯片
2011 年,我在挪威的特罗姆瑟组织举办了由 Kavli 基金会赞助的“绿色环境中高性能计算的发展”(Growing High Performance Computing in a Green Environment) 研 讨 会。我 们 估 计,使用当前的微处理器技术,百亿亿次级(exascale)计算[比千万亿次级(petascale)计算强大 1000 倍]需要 50 兆瓦的功率 ,比运行纽约市地铁所需的功率还多。因此,下一代超级计算机可能不得不使用像英国跨国半导体公司 Arm Holdings(ARM)为手机开发和优化的那种低功耗芯片。很快,在大多数计算密集型应用中使用通用数字计算机将不再可行,专用芯片将占主导地位,因为它们已经被嵌入手机中了。
人类大脑中有大约 1000 亿个神经元,每个神经元都与其他数千个神经元相连接,总计达 1000 万亿个(1015)突触连接。大脑运转所需的功耗大约是 20 瓦,占整个身体运转所需功率的 20 %,尽管大脑仅占身体质量的 3%。相比之下,一台远不如大脑强大的千万亿次级超级计算机,功耗却为 5 兆瓦,是大脑功耗的 25 万倍。大自然是怎么创造出这一高效奇迹的呢?首先,神经元接收和发送信号的部分被微缩至分子水平。另外,神经元是在三维空间上连接的(微芯片表面的晶体管仅在二维平面上相互连接),这样就可以使所需空间最小化。由于大自然很久以前就进化出了这些技术,想要追赶大脑的能力,我们还有很多工作要做。
深度学习是高度计算密集型的,该过程目前在中央服务器上完成,计算结果会被传送到手机等周边设备。最终,周边设备应该是自主运行的,这就需要完全不同的硬件——比云计算轻得多,耗电也更少。幸运的是,这样的硬件已经存在了,即受大脑启发设计出的神经形态芯片。
视网膜芯片
1983 年,我在匹兹堡郊外一个度假村里举行的研讨会上第一次见到了卡弗·米德(Carver Mead)。米德向我们展示了一个硅视网膜,它使用了与超大规模集成电路芯片相同的制造技术,但使用了模拟而非数字电路。在模拟电路中,晶体管上的电压可以连续变化,而数字电路中的晶体管只能采用“开”或“关”两个二进制值中的一个。人的视网膜上有一亿个光感受器,与相机将信息从光子桶(photon buckets)传动到记忆体的方式不同,视网膜具有多层神经处理功能,可将视觉输入转换为高效的神经编码。视网膜的所有处理过程都是模拟的,直到其编码信号到达神经节细胞,神经节细胞将这些信号沿着 100 万个轴突,以“全或无”的放电脉冲形式传送到大脑。脉冲信号的“全或无”特征就像数字逻辑,但放电脉冲的时间是一个模拟变量,没有时钟同步,因此放电脉冲序列是一种混合编码。
1976 年的卡弗·米德。正是在那段时期,他在加州理工学院创造了第一个硅编译器。卡弗是一位有远见的人,他的洞察力和引领的技术进步对数字和模拟计算产生了重大影响。桌上的电话暗示了照片的拍摄时间。图片来源:加州理工学院。
在米德的视网膜芯片中,处理过程的分级部分是通过使用位于阈值拐点以下,从“关”到接近“关”状态的电压来完成的。与之相反,在数字模式下运行时,晶体管迅速跳到完全“导通”的状态,这需要消耗更多的功率。因此,模拟超大规模集成电路芯片仅消耗数字芯片所需能耗的一小部分,从纳瓦到微瓦,而不是从毫瓦到瓦,能量效率提升了数百万倍。米德是神经形态工程的创始人,他致力于构建基于大脑式算法的芯片,在 1989 年,他表明嵌入在昆虫和哺乳动物眼睛神经环路中的神经算法,可以有效地复制到芯片上。
视网膜芯片是米德的明星研究生米莎·马霍沃德(Misha Mahowald)于 1988 年创造的一项令人印象深刻的发明。她在加州理工学院读本科时主修的是生物学。在研究生阶段,她从事的是电子工程领域的工作。这两个领域的结合所带来的洞见帮助她获得了四项专利。1992 年,她的博士论文描述了在芯片上的实时双目匹配,这是第一个真正使用集群行为完成艰巨任务的芯片。为此她获得了加州理工学院的米尔顿和弗朗西斯·克拉泽奖(Milton and Francis Clauser Prize)。1996 年,她的名字还被列入了国际技术女性(Women in Technology International,WITI)名人堂。
1982 年,加州理工学院的米莎·马霍沃德作为卡弗·米德的学生,创造了当时世界上第一个硅视网膜。她对神经形态工程的贡献是开创性的。图片来源:托比·德尔布吕克。
晶体管在阈值附近的物理特性,与生物膜中离子通道的生物物理特性之间存在密切的对应关系。马霍沃德与牛津大学的神经科学家凯万·马丁(Kevan Martin)和罗德尼·道格拉斯(Rodney Douglas)合作开发过硅神经元,并随同他们一起搬到了苏黎世,帮助他们在苏黎世大学和瑞士联邦理工学院建立了神经信息学研究所。然而后来,在经历了抑郁症的折磨之后,米莎于 1996 年结束了自己的生命,时年 33 岁。一位杰出的新星就此陨落。
硅神经元。该模拟大规模集成电路芯片具有类似于神经元中离子通道的电路,能够实时对神经回路进行仿真操作,正如米莎·马霍沃德在芯片上绘制的卡通图所示。图片来源:罗德尼·道格拉斯
本文摘自《深度学习 智能时代的核心驱动力量》
想了解学习,读这一本就够了。
文科生也能看得懂的前沿通识作品。
世界十大AI科学家、美国四院院士力作
谷歌前云AI负责人李飞飞、AI教父杰弗里·辛顿重磅推荐,微软小冰之父李笛作序。
学习会扩大你的认知,人工智能不是生存威胁
《深度学习 智能时代的核心驱动力量》
作者:特伦斯谢诺夫斯基
ISBN:9787508698359
这本书所讲的内容,与每个人的生活息息相关。AlphaGo、自动驾驶、语音识别、智能翻译、AI、图像识别……你所看到的各种形式的人工智能,背后都是学习在发挥作用。这本书将告诉你,学习有哪些之处,并对你产生哪些影响。
内容提要:
全球科技巨头纷纷拥抱学习,自动驾驶、AI、语音识别、图像识别、智能翻译以及震惊世界的AlphaGo,背后都是学习在发挥的作用。学习是人工智能从概念到繁荣得以实现的主流技术。经过学习训练的计算机,不再被动按照指令运转,而是像自然进化的生命那样,开始自主地从经验中学习。
本书作者特伦斯·谢诺夫斯基是全球人工智能十大科学家之一、学习先驱及奠基者,亲历了学习在20世纪70年代到90年代的寒冬。但他和一众开拓者,利用大数据和不断增强的计算能力,终于在神经网络算法上取得重大突破,实现了人工智能井喷式的发展。
作为学习领域的通识作品,本书以恢弘的笔触,通过3个部分全景展现了学习的发展、演变与应用,以亲历者视角回溯了学习浪潮在过去60年间的发展脉络与人工智能的螺旋上升,并前瞻性地预测了智能时代的商业图景。
目前,CSDN联合中信出版社,
针对CSDN用户推出
限时6.5折的优惠价!
扫描下方二维码就可购买哦!
点击阅读原文,即刻购买《深度学习 智能时代的核心驱动力量》↓↓↓