谷歌用AI设计芯片被质疑,自然杂志介入调查
一篇由谷歌主导的研究论文发表在《自然》杂志上,声称机器学习软件可以比人类更快地设计出更好的芯片,但在一项新研究对其结果提出异议后受到质疑。
2021 年 6 月,谷歌因开发基于强化学习的系统而成为头条新闻,该系统能够自动生成优化的微芯片平面图。这些计划决定了芯片内电子电路块的排列:CPU 和 GPU 内核、内存和外围控制器等实际位于物理硅片上的位置。
谷歌表示,它正在使用这款 AI 软件来设计其自主研发的 TPU 芯片,以加速 AI 工作负载:它正在利用机器学习来使其其他机器学习系统运行得更快。
芯片的布局规划很重要,因为它决定了处理器的性能。您需要仔细安排芯片电路的块,以便信号和数据以理想的速率在这些区域之间传播。工程师通常会花费数周或数月的时间来改进他们的设计,试图找到最佳配置。所有不同的子系统都必须以特定的方式放置,以生产出功能强大、节能且体积尽可能小的芯片。
今天制作平面图通常涉及手动工作和使用芯片设计应用程序的自动化。谷歌的团队试图证明,其强化学习方法所产生的设计比仅由人类工程师使用行业工具做出的设计更好。不仅如此,谷歌表示其模型完成工作的速度比工程师迭代布局快得多。
“尽管经过五年的研究,芯片布局规划仍无法实现自动化,需要物理设计工程师数月的艰苦努力才能产生可制造的布局......在不到六个小时的时间内,我们的方法自动生成了优于或可与人类制作的芯片布局规划相媲美的所有关键指标,”谷歌员工在他们的自然论文中写道。
这项研究引起了电子设计自动化社区的注意,该社区已经开始将机器学习算法整合到他们的软件套件中。现在,谷歌声称其优于人类的模型受到了加州大学圣地亚哥分校 (UCSD) 的一个团队的挑战。
不公平的优势?
在计算机科学与工程教授安德鲁·卡恩 (Andrew Kahng) 的带领下,该小组花了几个月的时间对谷歌在《自然》杂志上描述的平面规划管道进行逆向工程。这家网络巨头以商业敏感性为由,隐瞒了其模型内部运作的一些细节,因此加州大学圣地亚哥分校不得不弄清楚如何制作自己的完整版本,以验证谷歌员工的发现。我们注意到,Kahng 教授在 Google 论文的同行评审过程中担任了 Nature 的审稿人。
大学学者最终发现,他们自己对原始谷歌代码的再创造,在他们的研究中被称为循环训练 (CT) ,实际上比使用传统行业方法和工具的人类表现更差。
是什么导致了这种差异?有人可能会说测试是不完整的,尽管可能有另一种解释。随着时间的推移,UCSD 团队了解到谷歌使用了电子设计自动化 (EDA) 套件的主要制造商 Synopsys 开发的商业软件来创建芯片逻辑门的起始排列,然后网络巨头的强化学习系统对其进行了优化。
谷歌论文确实提到在模型生成布局后使用行业标准软件工具和手动调整,主要是为了确保处理器能够按预期工作并最终完成制造。谷歌员工争辩说,无论平面图是由机器学习算法创建的还是由人类使用标准工具创建的,这都是必要的步骤,因此其模型值得为优化的最终产品赢得赞誉。
然而,UCSD 团队表示,Nature 论文中没有提到预先使用 EDA 工具来为模型迭代准备布局。有人认为,这些 Synopsys 工具可能已经为该模型提供了足够好的开端,以至于人工智能系统的真正能力应该受到质疑。
“这在论文审查期间并不明显,”大学团队在谈到使用 Synopsys 的套件为模型准备布局时写道,“并且在 Nature 中没有提到。实验表明,拥有初始放置信息可以显着提高 CT 结果”
自然调查谷歌的研究
此后,一些学者敦促《自然》杂志根据加州大学圣地亚哥分校的研究审查谷歌的论文。在The Register查看的发给期刊的电子邮件中,研究人员强调了 Kahng 教授及其同事提出的担忧,并质疑谷歌的论文是否具有误导性。
德克萨斯大学达拉斯分校电气工程高级讲师比尔·斯沃茨 (Bill Swartz) 表示,《自然》杂志的论文“让很多 [研究人员] 蒙在鼓里”,因为结果涉及互联网巨头的专有 TPU,因此无法验证。
他说,需要调查使用 Synopsys 的软件来启动 Google 的软件。“我们都只想知道实际的算法,这样我们就可以重现它。如果 [谷歌] 的说法是正确的,那么我们就想实施它。应该有科学依据,一切都应该是客观的;如果它有效,它就有效,”他说。
Nature 告诉The Register,它正在调查谷歌的论文,但没有具体说明调查的内容和原因。
“出于保密原因,我们无法对个别案例的细节发表评论,”《自然》杂志的一位发言人告诉我们。“然而,一般来说,当对期刊上发表的任何论文提出疑虑时,我们会按照既定流程仔细调查。
“这个过程涉及与作者的协商,并在适当的情况下寻求同行评审员和其他外部专家的建议。一旦我们有足够的信息来做出决定,我们就会做出最合适的回应,并为我们的读者提供清晰的答案到结果。”
这不是该杂志第一次对该研究进行发表后调查,该研究正面临新的审查。谷歌员工的论文一直在线,并于 2022 年 3 月添加了作者更正,其中包括指向谷歌一些开源 CT 代码的链接,供那些试图遵循该研究方法的人使用。
没有预训练和没有足够的计算?
谷歌论文的主要作者 Azalia Mirhoseini 和 Anna Goldie 表示,UCSD 团队的工作并不是他们方法的准确实施。他们指出,Kahng 教授的小组获得了更差的结果,因为他们根本没有在任何数据上预先训练他们的模型。
“如果不允许从先前的经验中学习,基于学习的方法当然会表现更差。在我们的自然论文中,我们在评估保留的测试用例之前对 20 个块进行了预训练,”两人在一份声明中说.
Kahng 教授的团队也没有使用与谷歌使用的计算能力相同的计算能力来训练他们的系统,并暗示这一步可能没有正确执行,从而削弱了模型的性能。Mirhoseini 和 Goldie 还表示,在他们的 Nature 论文中未明确描述的使用 EDA 应用程序的预处理步骤并不重要,因此无需提及。
“[UCSD] 论文侧重于使用从物理综合到集群标准单元的初始布局,但这没有实际意义。必须在运行任何布局方法之前执行物理综合,”他们说。“这是芯片设计的标准做法。”
然而,加州大学圣地亚哥分校小组表示,他们没有预先训练他们的模型,因为他们无法访问谷歌专有数据。然而,他们声称,他们的软件已经过这家互联网巨头的另外两名工程师的验证,他们也被列为《自然》杂志论文的合著者。Kahng 教授今天在今年的物理设计国际研讨会上介绍了他的团队的研究。
与此同时,谷歌继续使用基于强化学习的技术来增强其数据中心积极使用的 TPU。
被解雇的谷歌员工声称研究被大肆宣传以获得利润丰厚的云交易
另外,谷歌在自然杂志上发表的关于超人表现的声明在互联网巨头内部引起了争议。去年,人工智能研究员 Satrajit Chatterjee 被谷歌有理由解雇;他声称这是因为他批评并质疑了该论文的发现。Chatterjee 还被告知谷歌不会发表他批评第一项研究的论文。
其他谷歌员工指责他不仅批评而且骚扰参与该项目的同事,并因其涉嫌行为而受到人力资源部调查。此后,Chatterjee 在圣克拉拉的加利福尼亚州高等法院起诉谷歌,声称其不当解雇。Chatterjee 拒绝就此事置评。
在上个月修订的申诉中,Chatterjee 的律师声称,谷歌正在考虑与“某公司”将其基于 AI 的平面图生成软件商业化,同时它正在与某公司谈判一项据报道价值 1.2 亿美元的 Google Cloud 交易。Chatterjee 声称谷歌支持平面图文件,以帮助说服该公司加入这一重要的商业协议。
“这项研究部分是作为 [某公司] 潜在商业化的第一步进行的(并使用某公司的资源进行)。由于它是在潜在的大型云交易的背景下完成的,因此它是不道德的这意味着我们拥有革命性的技术,而我们的测试结果却并非如此,”Chatterjee 在给谷歌首席执行官桑达尔·皮查伊、副总裁兼工程研究员杰伊·亚格尼克和谷歌研究副总裁拉胡尔·苏克桑卡尔的电子邮件中写道,这封电子邮件作为诉讼的一部分被披露。
他在法庭文件中指责谷歌“夸大”其研究结果,并“故意隐瞒某EDA公司的重要信息以诱使它签署云计算协议”,有效地利用他认为有问题的技术来拉拢另一家公司。
某公司在法庭文件中被描述为“电子设计自动化公司”。
★ 点击文末【阅读原文】,可查看本文原文链接!
免责声明:文章内容系作者个人观点,半导体芯闻转载仅为了传达一种不同的观点,不代表半导体芯闻对该观点赞同或支持,如果有任何异议,欢迎联系我们。
推荐阅读
关注全球半导体产业动向与趋势
欢迎关注【半导体芯闻】
公众号ID:MooreNEWS