查看原文
其他

四项第一!这款芯片让全世界嫉妒!

CSDN App CSDN 2019-11-27

作者 | 胡巍巍
出品 | CSDN(ID:CSDNnews)

7年前,笔者曾在北京一家外贸公司实习,公司业务之一,是给在华的俄罗斯人,邮寄物品到他们国家。

邮寄的物品,一般都是成吨的衣服、或日用品等,这些客户多是从中国进货,然后在当地售卖。

有一次,来了一位金发俄罗斯小伙,他邮寄的东西很特殊,是一把剑。

那是我第一次感受到,剑就像中国功夫一样,很受老外欢迎。

中国最早的剑,从轩辕黄帝时代开始。

剑,承载着人们对正义的向往。

春秋战国的神话传说《列子·汤问》,曾提到过一把叫含光的剑。

这把剑,看上去无形,舞起来无影,击敌如割草。

两千多年后的2019年,一家叫阿里巴巴的公司,也造了一个叫含光的物品,不过它不是剑,是一款芯片。

含光芯片,对得起名字。

北京时间11月7日,MLPerf基准联盟,公布首轮AI推理基准测试结果:阿里巴巴平头哥的AI芯片含光800,在Resnet50基准测试中,获得单芯片第一。


MLPerf是什么?


MLPerf,是业内首套衡量机器学习软硬件性能的通用基准,由图灵奖得主大卫·帕特森(David Patterson)于2018年,联合谷歌和几所名校成立。

MLPerf基准联盟,现有50多家成员,包括谷歌、微软、Facebook、阿里巴巴等企业,以及斯坦福、哈佛、多伦多大学等高校。

继MLPerf AI训练基准v0.5、v0.6之后,MLPerf在2019年6月,推出AI推理基准v0.5。

而这次参加推理基准测试、并提交结果的公司共14家,谷歌(TPUv3)、英伟达(T4、RTX、Xavier)、英特尔(CLX 9282、NNPI-1000)、Habana(Goya)等均参与逐鹿。


单芯片第一,厉害在哪里?


一般来讲,MLPerf 推理基准测试,设有五个基准,每个基准对应四种场景,该测试重点面向图像分类、对象检测和机器翻译等常见的机器学习任务。

含光800,参加了适用于图像分类任务的Resnet50 v1.5基准测试,在离线模式(Offline mode)、服务模式(Server mode)、多路模式(Multi stream mode)和单路模式(Single stream mode)四个场景测试中,成绩都是单芯片第一。


离线模式:含光800超谷歌和英伟达


在芯片测试中,离线模式测试的目的,是评估芯片推理的最大吞吐量。

这项测试,可以体现芯片的基本功、考验计算、存储、通信的设计所能够达到的最佳性能。

在该项测试中,含光800的成绩是69306.60 image/sec,是第二名Google TPU v3的2.11倍。Google TPU v3.8用了4颗芯片,因此论单芯片性能,含光800是TPU v3的8.5倍。


服务模式:是第二名Google TPU v3的2.82倍


服务模式,主要用来测评芯片系统单张图片的吞吐量,含光800的成绩是45169.48 image/sec,是第二名Google TPU v3.8的2.82倍。


多路模式:是第二名的Habana Goya的3.84倍

多路模式,则是评估芯片系统所能支撑的视频流的最大路数。

这里的视频流,定义为20帧/sec。其主要应用于视频、监控、智慧城市等。

在多路模式测试中,含光800最大可同时处理2692路视频流,是第二名的Habana Goya的3.84倍。 


单路模式:比第二名Habana的Goya快1.41倍


单路模式测试,是用于评估芯片系统的单张图片请求吞吐量。

它强调单图片的推理场景下,芯片的最小反应延迟,反应越快越“聪明”,数值越小越优秀。

这项测试中,含光800的成绩,是0.17毫秒。比第二名Habana的Goya快1.41倍。 


中国公司首次提交的原创AI芯片


CSDN采访阿里巴巴资深专家、MLPerf专家组成员徐凌杰得知,含光800是中国公司首次提交结果到MLPerf的原创AI芯片。

这款芯片,有每位团队成员的倾情投入,也离不开阿里巴巴经济体强有力的组织保障和支持。

在未来,含光800将助力阿里巴巴AI业务的发展。此外,含光800本次的结果,也提交到了预演示大类。

这意味着,含光800的算力,将通过阿里云对外输出,阿里云的用户,将有机会在云上,使用含光芯片来加速AI应用。

那么,含光厉害在哪里?

2019年9月问世的含光800,是阿里巴巴第一款正式的流片芯片,它基于台积电12nm工艺生产,采用平头哥自研架构,可以有效降低内存访问延时,并集成达摩院的创新算法,可以深度优化CNN及视觉类算法,还可大幅提升视觉计算效率。

目前,含光800主要用于云端视觉场景,现已大规模应用于阿里巴巴集团内多个场景,如视频图像识别/分类/搜索、城市大脑等,未来还可应用于医疗影像、自动驾驶等领域。


“神看光是好的”


古老的西方经典《圣经》中,有这样一处记载:“神看光是好的,就把光暗分开了。”

国内互联网巨头中,敢做芯片的不多,因为不仅得有巨多的钱、还得有巨多的人才、更得有巨多的时间。

钱和人,阿里巴巴都不缺,很多公司也不缺。

但是,造芯片的速度,堪比光速。

说含光芯片,是国产芯片的一束光,并不为过。

这束光,足以揭开国产芯片的未来,也足以鼓励更多中国企业造芯片。

多年前,联想前总工程师倪光南,哪怕负债,也要造芯片。

直到中兴事件后,很多人开始夸他有先见之明。

含光的诞生,虽然并没有悲壮的色彩。

但是当国外科技大佬,总是在演讲中提起Alibaba和HUAWEI的名字时,像极了过去的我们:那些年,我们不也是动辄就谈微软和谷歌,动辄就觉得他们很牛掰嘛?

中国造,也可以很优秀。话说回来,我们只不过是恢复原来的地位而已。

【END】

 热 文 推 荐 

腾讯 Github 全球贡献前十;三星可折叠手机售价 1.6 万;OpenTitan 正式开源|极客头条
程序员平均年薪 70 万、40 岁后收入下滑?尽在 2019 程序员薪资报告
羡慕!微软成功尝试:员工周休三天、待遇不变,工作效率却提高 40%!

微软全面拥抱 AI!

备战双 11!蚂蚁金服万级规模 K8s 集群管理系统如何设计?

这款“狗屁不通”文章生成器火了,效果确实比GPT 2差太远

CSDN应邀赴微软IT大会,揭开微软重磅推出的秘密武器——Azure区块链代币平台的神秘面纱!

点击阅读原文参与开发者大调查,好礼送不停!
你点的每个“在看”,我都认真当成了喜欢

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存