其他
勘误 | 和 Nature 封面论文一作,聊了聊天机芯的科研故事
By 超神经
编者注:昨天的文章发布之后,和采访嘉宾进行了商议,文章中出现一些表达不够严谨,以及部分不准确的内容。通过和邓磊博士的交流,对文中的相关内容进行了修改。在此对邓磊博士表示歉意,并由衷感谢他的指正。
邓磊,清华首位类脑计算博士、美国加州大学圣芭芭拉分校博士后。8 月 1 日《 Nature 》杂志的封面上,展示了文章《面向人工通用智能的异构天机芯片架构》,他作为第一作者,负责了芯片的设计和算法细节。
学并探索着:类脑计算中心的第一个博士
提问:您是怎么进入到类脑计算这个研究方向的?这个学科具体涉及到哪些内容?
当时清华类脑计算研究中心全体合影
天机芯和类脑计算:自行车不是重点
类脑计算这个领域相对复杂,我从人工智能的脉络来梳理,会更明显一些。 人工智能不是单一的学科,基本上可以分为四个方向。第一个是算法方面,第二个是数据,第三个是算力,最后是编程工具。里程碑的事件可以从这四个方向来看。 就算法来讲,当然是深度神经网络,这个是毋庸置疑的;从数据的角度来说,ImagNet 是一个里程碑,之前没有大数据的加持,深度神经网络几乎被埋没。 在算力的角度,GPU 是一个很伟大的诞生。编程的工具,像 Google 的 TensorFlow 之类普及的应用,是推动发展的一个重要因素。 这些事情促进了 AI 的前进,而且它们是一个迭代发展的过程,缺了一个都不会有今天的局面。但 AI 也有自己的局限性,比如 AlphaGo ,它只能进行单任务,除了下棋别的就做不好。这跟大脑是不一样的。 第二个就是可解释性,我们用深度神经网去进行拟合,包括用增加强化学习,但它们内部发生了什么事情,还是不清楚的,一些人正在试图将这个过程可视化或弄清楚它的原理。 第三个是鲁棒性, AI 不像人一样稳定。比如自动驾驶,现在的 AI 也只是被用于辅助驾驶,是因为它还不能保证绝对的安全。 因为这些缺点,必须要去关注脑科学的发展,引入更多的脑科学的机制。在我看来,最迫切的就是让智能更通用化。
另一类不局限于机器学习,是从大脑的角度找模型做专用的芯片,这方面 IBM 或者英特尔做的比较好。 天机芯片之所以很受关注,就在于将这两类各自的优势,集成到了一个架构上去。
自行车的演示中,有视觉、听觉还有运动控制,通过一个芯片去完成这些功能,是一个比较理想的平台。当时是从这个角度去考虑的,自行车控制并不是很难,我们只是想展示一种新的模式。
类脑计算的未来:打破冯诺依曼架构
提问:未来的人工智能或者类脑计算,和现有的冯诺依曼架构有什么联系?它们是否会朝着人脑的形态演变? 这是一个很重要的问题,现在的半导体行业,就有一个基本的趋势,包括 18 年的图灵奖,也是颁给了做计算架构研究的研究者。 试图让 GPU 提高性能,有两个方向,第一是把晶体管做小,就是物理微缩,遵循摩尔定律。但这两年大家意识到摩尔定律开始失效了,相关的发展越来越慢,总有一天会无法做小了。
摩尔定律正在减缓
另一个方向就是做计算架构,设法通过设计框架,让计算单元、存储单元、通信,这个三部分都发挥很高的效率。 人脑就很神奇,通过学习的积累,每一代人知识都在增长,我们要去借鉴这种知识的演化。 上个世纪,通用处理器的发展基本上遵循摩尔定律,因为以前晶体管能越做越小,计算架构的发展被一定程度埋没。现在摩尔定律受阻以及 AI 这类需要追求高处理效率的应用,使得计算架构的研究又重新受到重视,未来十年也将是专用处理器的黄金时期。
对于类脑研究,大家问得最多的问题是,类脑计算能干什么? 这是一个很致命的问题,现在很多做人工智能或做脑科学的人,都不清楚其背后的机理是什么。就拿脑科学来说,有三个层次目前还比较脱节。 第一个是神经细胞究竟如何工作。这个问题,很多医学家或者生物学家,都还在进行艰难的探索研究。 第二个是神经细胞之间是怎么连接的,大脑里面有 10 的 11 次方量级的神经细胞,它们是如何联系起来的,也比较难理清楚,需要借助光学和物理学的力量。 最后,还要知道它们怎么学习的,这也是最难但最重要的一个问题。
每一个方面都有一个鸿沟,但困难不能成为放弃探索的理由。如果毫不作为,就一点机会都没有。在每个层面上做一些事情,最后总是会诞生一些新的东西,而后不断地进行迭代。
提问:前段时间在 Nature 上还有另外一篇文章,研究人员画出了线虫全部神经元的完整图谱,以及全部神经元之间所有的 7000 个连接。
科学家绘制的线虫脑部神经元链接
传统的冯诺依曼架构示意图
但我们大脑里面没有那么明确的界限,虽然我们有海马体专门负责长期记忆,但从神经元网络层面来讲你并不清楚大脑哪一团细胞一定就是存储,哪些只是计算。大脑更像是一个混沌的网络,计算和存储难以区分,所以从这个角度上来讲的话,很难用以前传统的那些芯片或者处理器的技术来做。
现在大家对脑科学或者类脑计算的理解,没有人工智能那么透彻,有一个很重要的原因,是投资者以及产业界,还没有过多的介入。 因此,不管是数据算力还是工具,都难以做起来。类脑计算就处于一个这样的初级阶段,相信以后当越来越多的大学和公司投入进来,就会明朗很多。
天机和其他架构不一样,没有用到那些需要扩展的存储器。天机芯片更像一个大脑,相当于细胞连成了很多小回路,小回路又扩展成了很多网络,最后构成功能区和系统,它是一个容易扩展的结构,而不是像 GPU 那样。
天机芯片单片和 5×5 阵列扩展板
天机芯的众核去中心化架构决定了,它能比较容易地扩展成大的系统,没有存储墙的约束,实际上是存算融合的非冯诺依曼架构。这是在架构层面和现有处理器最大的一个区别,前面是模型层面的区别,基本上就这两大类的区别。
—— 完 ——
扫描二维码,加入讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解详情
更多精彩内容(点击图片阅读)