查看原文
其他

震撼!与Facebook、谷歌抗衡,获华为力挺!详解这家科技巨头的深度学习框架!

张慧娟 电子发烧友网 2021-01-17
电子发烧友网报道(文/张慧娟)人工智能的落地问题受到普遍关注,不过,在关注商业化应用的同时,应用落地之前的开发与创新,以及为创新提供的基础设施,更应该受到关注,这毕竟是整个AI蓝图想象力的原点。

在AI时代的分工体系中,深度学习框架起到了承上启下的作用,向下是芯片、大型计算机系统,向上是各种业务模型、行业应用。

这也正是为什么,深度学习框架成为科技巨头的必争之地。对开发框架的重视,隐藏着科技企业对AI未来的押注。再放大到国际竞争的维度来看,深度学习框架的质量和普及程度,很可能会影响到整个产业的进程甚至结果。

所幸的是,已经受够了“缺芯之痛”的中国,在深度学习框架上起步够早,且已达到了一定的高度。


深度学习平台走向开源



IDC的《中国深度学习平台市场份额调研》显示,在AI技术使用方面,接受调研的企业和开发者中,86.2%选择使用开源深度学习框架。

在中国深度学习平台市场,谷歌、Facebook、百度三强鼎立态势稳固,三者占据了国内超过一半的市场份额。其中,百度飞桨是市场前五中唯一的国货。

百度自2013年就开始研发深度学习框架,当时主要为了解决主流开发框架仅支持GPU应用、无法进行大规模数据处理的问题。经过几年内部应用后,2016年正式开源飞桨(PaddlePaddle)深度学习平台。这也让百度在当时成为继谷歌、Facebook、IBM之后,全球第四家、中国第一家开源深度学习开发框架的科技公司。

今年,华为MindSpore、旷视天元接连宣布开源。国内的深度学习热度迭起。

援引一位业内人士的评论:只有原创才能引领,开放才能繁荣。在这场基础设施争夺中,中国产业壁垒的高度已和过去不再相同。

硬件+软件,AI生态布局的全景思路



5月20日,WAVE SUMMIT2020深度学习开发者峰会上,百度飞桨联合英特尔、英伟达、arm中国、华为、MediaTek、Imagination、寒武纪、浪潮、中科曙光等13家全球的领先硬件厂商,宣布启动共建硬件生态合作圈。

在这份生态版图中,飞桨的硬件生态伙伴层次非常分明,既有业界巨头、老牌企业,也有国内外新锐企业。从硬件类型来看,覆盖CPU、GPU、新型处理器架构、AI专用芯片以及IP。可以说,是百度飞桨对AI产业全版图的一次全方位包抄。这对整个AI产业界意味着什么?对于推进AI在中国的商用落地又能带来哪些帮助?

百度方面表示,随着产业的加速发展,AI芯片产业,也出现了越来越多的玩家和细分领域。飞桨一直强调“生态”的概念,用开源的方式,可以打造一个繁荣、健康、互惠、可持续发展的生态平台。

同时,飞桨的应用涵盖了几乎所有的AI场景,飞桨的合作伙伴及其相关产品,既有云侧、也有端侧;既有训练、也有推理;既有传统CPU芯片,也有加速芯片;既有侧重语音场景的,也有侧重视觉、自然语言理解场景的,这其中也包括IP厂商。


截至5月20日的数据,飞桨至今累计开发者数量194万,服务企业数量8.4万家,基于飞桨平台产生了23.3万模型。

作为中国首个开源开放、功能完备的产业级深度学习平台,飞桨硬件生态的扩大,意味着能够普及到更多的开发者和企业,让他们能够在不必考虑底层芯片细节的前提下,直接使用,可以更多地专注在自己的业务场景本身。在完成业务模型与底层硬件之间解耦的同时,确保最大限度地释放硬件算力。这将有助于降低技术门槛,加速推动AI的产业落地过程。

飞桨的新晋国产硬件生态伙伴



随着数据量不断增长、算法不断演进和迭代,对极致算力的需求也越来越大,而软硬件的充分结合则显得尤为重要。此次与飞桨完成生态拓容的,主要有如下中国硬件供应商及其产品:

华为Atlas

华为Atlas与飞桨深度对接,即将在近期开放代码。华为Atlas人工智能计算平台基于华为昇腾系列AI处理器和业界主流异构计算部件,通过模块、板卡、小站、一体机等丰富的产品形态,打造面向“端、边、云”的全场景AI基础设施方案,可用于“平安城市、智慧交通、智慧医疗、AI推理”等领域。

飞腾CPU

飞腾作为国内老牌的自主CPU芯片提供商,CPU应用正在逐步进入人工智能和深度学习等领域。此次,飞腾FT-2000+/64 处理器已经与百度飞桨、昆仑芯片完成算力、架构、技术三方面的适配认证。

不仅如此,Paddle Lite 2.3.0在飞腾硬件平台上实现了麒麟OS和UOS的适配。基于飞腾硬件平台的Paddle Lite可进行灵活的AI模型部署;在若干主流模型的推理性能上均具备高性能表现;可广泛适用于智慧政务、无人车、智能家居等典型AI应用场景。

MediaTek AI框架NeuroPilot

MediaTek的NeuroPilot人工智能通用软件平台,与Paddle Lite轻量化推理引擎完成适配。所有MediaTek的AI芯片APU (Artificial intelligence Processing Unit ) 都能够使用Paddle Lite快速部署。

据了解,MediaTek弹性的AI框架NeuroPilot与百度Paddle Lite集成,实现端上实时智能推理的产品应用。Paddle Lite运行在MediaTek APU上的效率相比于传统ARM CPU性能提升6倍,功耗降低90%,便于实现低功耗、便携式产品应用。通过下方的系统架构图可以见到,相比于离线的工具转换,通过Delegate的子图直接调用,可以降低软件時延,确保维持Paddle Lite上模型的效能。

图:Paddle Lite与MediaTek NeuroPilot框架图

瑞芯微AI芯片RK1808、RK1806

瑞芯微(Rockchip)AI芯片RK1808、RK1806都已适配飞桨,兼容飞桨轻量化推理引擎Paddle Lite。

RK1808及RK1806,内置独立NPU神经计算单元,INT8 算力达3.0TOPs;采用22nm FD-SOI工艺,相同性能下的功耗相比主流28nm工艺产品降低约30%,在算力、性能、功耗等指标上均有优异的表现。据瑞芯微官方数据,瑞芯微AI芯片在Paddle Lite中运行MobileNet V1耗时仅为6.5 ms,帧率达153.8 FPS,二者充分兼容并高效稳定运行。

如下图所示的实测結果可以看出,与手机等移动端常用的国内外主流CPU相比,RK18系列NPU在MobileNET_v1的耗时更少,在图像分类、目标检测、语音交互方面,效果更好。


据了解,除RK1808、RK1806外,瑞芯微搭载NPU的AI系列芯片将陆续升级适配百度飞桨。

寒武纪思元270、思元220

寒武纪的云端AI处理器芯片思元270,与飞桨的轻量化推理引擎Paddle Lite完成兼容性适配;思元220边缘端芯片,也预计在近期完成适配工作。

据了解,截至目前,寒武纪与Paddle Lite的合作场景主要基于云端推理市场,但双方基于边缘推理市场的适配合作也正在进行中。未来,双方还将开展基于云端训练的适配合作。

比特大陆算丰系列AI芯片

百度飞桨深度学习平台新增适配比特大陆最新算丰系列AI芯片。比特大陆已成功推出四代AI芯片:云端芯片算丰BM1680、算丰BM1682、算丰BM1684,终端芯片BM1880。

最新一代算丰BM1684芯片,聚焦于云端及边缘应用的人工智能推理,采用台积电 12nm 工艺,在典型功耗16瓦的前提下,INT8 算力可达17.6Tops,在 Winograd 卷积加速下,INT8 算力提升至 35.2Tops,是一颗低功耗、高性能的 SoC 芯片。官方资料显示,其算力性能和性能功耗比指标超过主流推理GPU,在性能满足视频分析业务需求的前提下,可以实现视频结构化的单路成本优化。

AI芯片+深度学习平台如何把握时代契机?



两大契机正在推动AI软硬件技术的结盟以及开源生态的壮大。

百度CTO王海峰在WAVE SUMMIT 2020深度学习开发者峰会上说到,算法、算力及数据的持续共同进步,使技术的应用边界不断被拓展。围绕深度学习平台的技术和产业生态日渐繁荣,将有助于推动人工智能进入工业大生产阶段,加速各行各业智能化升级,并不断催生新的应用、新的产业。

另一方面,从市场需求及政策导向看,疫情带来的远程办公、云课堂等复工复产新模式,公共安全、应急管理、城市治理等国计民生相关产业迫在眉睫的智能化需求,以及新基建大潮,为技术创新创造了良好的机遇。深度学习软硬件平台的结合,作为新型基础设施的重要环节,将与云计算、5G、物联网、数据中心等互相融合促进,加速产业智能化进程。

飞桨是让深度学习的创新与应用更简单。其迭代发展主要有两大驱动,最原生的驱动轮是产业实践的需求和打磨,对应着对性能、大规模训练和部署能力,相应的特色优势也吸引着更多用户的使用。此外,提升用户体验则是另一个重要驱动轮,需要关注用户编程界面的优化和基础功能建设的完善,打造一个灵活易用的产业级深度学习框架。

新发布的全景图包括飞桨开源深度学习平台和飞桨企业版。飞桨开源深度学习平台部分,包含核心框架、基础模型库、端到端开发套件与工具组件,持续开源核心能力,为产业、学术、科研创新提供基础底座。同时,随着企业应用的需求越来越丰富和强烈,飞桨升级了产品架构,推出了飞桨企业版。

由于移动端和嵌入端场景对轻量化的要求非常高,硬件芯片也更为广泛多样。因此在自有多硬件加速库的基础上,提供了独立的轻量化推理引擎Paddle Lite,对端侧任务提供高性能支持。同时,在算子定义和模型表达层面,和核心框架保持一致。也正是在Paddle Lite下,实现了对国产AI芯片最全面的支持。

AI芯片的持续爆发,仍在引发与其适配优化的编译器需求,以及与Inference框架内应用整合的需求,标准化和体系化将是未来的主要方向:

一方面,需要建立行业统一标准,例如在深度学习框架、软硬适配接口、整机系统集成等领域推动统一的行业标准,促进行业规模化应用;

另一方面,需要加快软硬一体适配,以满足视觉、自然语言处理、语音等典型AI应用场景的需要,加速推进深度学习平台在训练、预测等功能与芯片、整机等智能硬件平台厂商适配融合;此外,通过建设和完善深度学习与人工智能行业应用生态的运行机制,共同推动应用普及等等,都是飞桨生态下一步非常重要的方向。

当然,要被更多开发者认可,还需要继续紧贴用户需求打磨,扩大上下游生态,进而才能建立具备高度壁垒的综合竞争力。


声明本文由电子发烧友原创,如需转载和入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com


更多精彩文章阅读

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存