四项第一!这款芯片让全世界嫉妒!
7年前,笔者曾在北京一家外贸公司实习,公司业务之一,是给在华的俄罗斯人,邮寄物品到他们国家。
邮寄的物品,一般都是成吨的衣服、或日用品等,这些客户多是从中国进货,然后在当地售卖。
有一次,来了一位金发俄罗斯小伙,他邮寄的东西很特殊,是一把剑。
那是我第一次感受到,剑就像中国功夫一样,很受老外欢迎。
中国最早的剑,从轩辕黄帝时代开始。
剑,承载着人们对正义的向往。
春秋战国的神话传说《列子·汤问》,曾提到过一把叫含光的剑。
这把剑,看上去无形,舞起来无影,击敌如割草。
两千多年后的2019年,一家叫阿里巴巴的公司,也造了一个叫含光的物品,不过它不是剑,是一款芯片。
含光芯片,对得起名字。
北京时间11月7日,MLPerf基准联盟,公布首轮AI推理基准测试结果:阿里巴巴平头哥的AI芯片含光800,在Resnet50基准测试中,获得单芯片第一。
MLPerf是什么?
MLPerf,是业内首套衡量机器学习软硬件性能的通用基准,由图灵奖得主大卫·帕特森(David Patterson)于2018年,联合谷歌和几所名校成立。
MLPerf基准联盟,现有50多家成员,包括谷歌、微软、Facebook、阿里巴巴等企业,以及斯坦福、哈佛、多伦多大学等高校。
继MLPerf AI训练基准v0.5、v0.6之后,MLPerf在2019年6月,推出AI推理基准v0.5。
而这次参加推理基准测试、并提交结果的公司共14家,谷歌(TPUv3)、英伟达(T4、RTX、Xavier)、英特尔(CLX 9282、NNPI-1000)、Habana(Goya)等均参与逐鹿。
一般来讲,MLPerf 推理基准测试,设有五个基准,每个基准对应四种场景,该测试重点面向图像分类、对象检测和机器翻译等常见的机器学习任务。
含光800,参加了适用于图像分类任务的Resnet50 v1.5基准测试,在离线模式(Offline mode)、服务模式(Server mode)、多路模式(Multi stream mode)和单路模式(Single stream mode)四个场景测试中,成绩都是单芯片第一。
离线模式:含光800超谷歌和英伟达
在芯片测试中,离线模式测试的目的,是评估芯片推理的最大吞吐量。
这项测试,可以体现芯片的基本功、考验计算、存储、通信的设计所能够达到的最佳性能。
在该项测试中,含光800的成绩是69306.60 image/sec,是第二名Google TPU v3的2.11倍。Google TPU v3.8用了4颗芯片,因此论单芯片性能,含光800是TPU v3的8.5倍。
服务模式:是第二名Google TPU v3的2.82倍
服务模式,主要用来测评芯片系统单张图片的吞吐量,含光800的成绩是45169.48 image/sec,是第二名Google TPU v3.8的2.82倍。
多路模式,则是评估芯片系统所能支撑的视频流的最大路数。
这里的视频流,定义为20帧/sec。其主要应用于视频、监控、智慧城市等。
在多路模式测试中,含光800最大可同时处理2692路视频流,是第二名的Habana Goya的3.84倍。
单路模式测试,是用于评估芯片系统的单张图片请求吞吐量。
它强调单图片的推理场景下,芯片的最小反应延迟,反应越快越“聪明”,数值越小越优秀。
这项测试中,含光800的成绩,是0.17毫秒。比第二名Habana的Goya快1.41倍。
CSDN采访阿里巴巴资深专家、MLPerf专家组成员徐凌杰得知,含光800是中国公司首次提交结果到MLPerf的原创AI芯片。
这款芯片,有每位团队成员的倾情投入,也离不开阿里巴巴经济体强有力的组织保障和支持。
在未来,含光800将助力阿里巴巴AI业务的发展。此外,含光800本次的结果,也提交到了预演示大类。
这意味着,含光800的算力,将通过阿里云对外输出,阿里云的用户,将有机会在云上,使用含光芯片来加速AI应用。
那么,含光厉害在哪里?
2019年9月问世的含光800,是阿里巴巴第一款正式的流片芯片,它基于台积电12nm工艺生产,采用平头哥自研架构,可以有效降低内存访问延时,并集成达摩院的创新算法,可以深度优化CNN及视觉类算法,还可大幅提升视觉计算效率。
目前,含光800主要用于云端视觉场景,现已大规模应用于阿里巴巴集团内多个场景,如视频图像识别/分类/搜索、城市大脑等,未来还可应用于医疗影像、自动驾驶等领域。
古老的西方经典《圣经》中,有这样一处记载:“神看光是好的,就把光暗分开了。”
国内互联网巨头中,敢做芯片的不多,因为不仅得有巨多的钱、还得有巨多的人才、更得有巨多的时间。
钱和人,阿里巴巴都不缺,很多公司也不缺。
但是,造芯片的速度,堪比光速。
说含光芯片,是国产芯片的一束光,并不为过。
这束光,足以揭开国产芯片的未来,也足以鼓励更多中国企业造芯片。
多年前,联想前总工程师倪光南,哪怕负债,也要造芯片。
直到中兴事件后,很多人开始夸他有先见之明。
含光的诞生,虽然并没有悲壮的色彩。
但是当国外科技大佬,总是在演讲中提起Alibaba和HUAWEI的名字时,像极了过去的我们:那些年,我们不也是动辄就谈微软和谷歌,动辄就觉得他们很牛掰嘛?
中国造,也可以很优秀。话说回来,我们只不过是恢复原来的地位而已。
【END】
热 文 推 荐
☞这款“狗屁不通”文章生成器火了,效果确实比GPT 2差太远
☞CSDN应邀赴微软IT大会,揭开微软重磅推出的秘密武器——Azure区块链代币平台的神秘面纱!