查看原文
其他

三年已投 1000 亿打造的达摩院,何以仗剑走天涯?

Carol CSDN 2021-04-25

【CSDN 编者按】带着“必须要比阿里巴巴活的时间长”的愿景,达摩院进入“三岁而立”之年。据报道,阿里巴巴旗下研究机构达摩院首次公布了三年来的成绩单,成绩十分亮眼。达摩院如何发展起来的?未来又会如何发展?一起来看看~


作者 | Carol   责编 | 张文
出品 | CSDN(ID:CSDNnews)
近日,据媒体报道,阿里巴巴旗下研究机构达摩院三周年的成绩单首次公布。
从公开信息可见,在 AI、量子计算、自动驾驶、芯片等多个领域斩获 60 多项世界领先,并且已经发表了 1000 多篇国际顶会论文。其中 AI 相关技术已经广泛应用在多个领域,包括医疗、工业、物流、教育、城市大脑、遥感等场景中。
而在人才方面,达摩院拥有 10 多位 IEEE Fellow 级别科学家;还成功孵化了两家高科技企业——平头哥半导体公司和小蛮驴智能科技有限公司
与此同时,阿里巴巴已经先后发布超强 RISC-V 处理器玄铁 910 、1 秒处理 7.8 万张照片的超强 AI 推理芯片“含光 800”等多款芯片类产品,交出一份亮眼的答卷。
三年前,马云在云栖大会上计划三年内为达摩院投资 1000 亿资金,并将其定义为“一所探索科技未知的研究院”,以人类愿景为驱动力,开展基础科学、创新性技术和应用技术研究。
从单纯的“淘宝商城”到“向技术要生产力”,再到“以技术驱动商业”,阿里巴巴对数字化技术进行了怎样思考?
阿里要将技术作为核心驱动力,达摩院在当中起了哪些作用?因何而起?
带着这些问题,跟随我们回到三年甚至更久之前,探索这座非典型研究院的前世今生。

达摩院三周年之际,梦回起点
 
作为阿里巴巴剑指基础科研的武器,达摩院的成立源自阿里巴巴由来已久的技术执念。
早在 2008 年,马云就开始考虑阿里巴巴技术的独立研发问题,当时已经希望建设一所技术研究院,并请来了时任微软亚洲研究院常务副院长的王坚。只不过,受到当时整体技术环境和技术底蕴影响,技术研究院没做起来,却无心插柳地做成了阿里云。
现在回头看,阿里云的成立似乎是为后来圆阿里巴巴技术梦铺垫了一条更稳固、通畅的道路。随着阿里云的发展,阿里巴巴的自由技术也逐步增厚。以云计算为起点,阿里巴巴技术逐步产生了向底层算力、众泰算法、上层技术产品延伸的需求。整个阿里巴巴集团也完成了从早期的“业务驱动技术”到“技术驱动业务”的蝶变。
这种技术与业务之间的动态调整,似乎是一家大型互联网企业正确的走向。
2014 年 9 月,阿里巴巴集团在纽约证券交易所上市。紧接着,阿里巴巴就在硅谷宣布成立新部门 iDST(institute of Data Science & Technologies)。
iDST,就是达摩院的前身。
在 iDST 期间,阿里巴巴吸纳了一批颇具影响力的学者加盟,达摩院机器智能实验室负责人金榕就是在这个时期加入的。
说来有趣,在那个时期加入的科学家可能没有想到,进入阿里巴巴后,竟然要经历一番不亚于“变形计 ”的生活。
为了让各位“阿里巴巴新人”们深度了解阿里巴巴当时的技术深度和业务,阿里巴巴集团让这些科学家们打散到各个业务部门去了解“粮食是怎么生产的”,为了寻找技术和业务结合的方式,这批学者们真实地经历了从理论到显示的落差。
这也是达摩院一所技术研究院为何会展现出如今这种前所未有的“接地气”的原因。
2017 年云栖大会上,马云正式宣布达摩院成立,并承诺在 3 年之内给达摩院投入 1000 亿的资金用于科技研发。科研与业务,学术与商业化,这个特殊的组合,在阿里巴巴内部的化学反应终于走到了临界点,阿里巴巴构筑起经济体技术大厦的四梁八柱,包括技术架构、技术路线、技术产品、技术理念和技术组织等等,阿里巴巴也从一家电商公司成功转变为一家技术公司。
而马云在 2017 年云栖大会上对达摩院提了三个要求:
  • “活得要比阿里巴巴长。”
  • “服务全世界至少 20 亿人口。”
  • “必须面向未来,用科技解决未来的问题。”
达摩院的使命是“探索科技位置,以人类愿景为驱动力,开展基础科学和颠覆式技术创新研究。”基于这样的原则和宗旨,达摩院打响了基础科研和硬科技发展的一炮,使得市场企业的技术创新成为国家科技创新的重要组成部分。
 

阿里巴巴技术 20 年 8 大战役
 
在阿里巴巴成立的前十年,先有业务命题,再有技术求解是主流的业务和技术的互动模式。技术作为业务的支持者,更像是一个幕后英雄,支撑起阿里巴巴的商业光芒,却每一次都有种“功成身退”的意思。
但随着两者关系的发展,阿里巴巴逐渐意识到技术本身的价值,在数字经济时代,数据中台等技术工具的战略价值将远超过往的预期。技术,是能够改变商业的。
可能很多人还不了解,阿里巴巴从一家国民级电商公司到中国第一集团的技术公司,到底经历了什么?
下面这份阿里巴巴技术长征路上的“八大关键战役”,每座城池都是战略重镇,每个胜场都以血泪做注,站在事后诸葛的立场回望,阿里巴巴的每一次选择仿佛都存在一种必然性,技术的伏线隐藏于阿里巴巴发展的每个关键阶段,向技术的长征,是阿里必须要走的路。20 年间,无数个戏剧而痛苦的内部变革,都被它们一一连缀起来,而在互联网时代的风云变幻下,这些从无到有、日益强大的技术底座,成为了阿里经济体最重要的护航力量。
看完这八段故事,你也许能够窥见阿里技术演进的脉络。
2.1 「宁波会议」
2007 年,当时市值约百亿美元的阿里巴巴,正处于与高速成长期相伴的战略迷茫期。
而就是在这一年,阿里巴巴首次“向技术要生产力”,也被称为阿里登月计划。
2007 年 9 月 28 日~30 日,宁波会议本想一改常规,找个能看海的场所开阔思路,却阴差阳错订错了地方,最终走到一个连海在那头都不知道的密闭会议室。高管们就在这个封闭的会议室里埋头讨论着两个主题:
“未来十年阿里到底要去往何处?该有什么样的战略?”
两天两夜的争吵过后,他们达成了共识:阿里巴巴要建设一个“开放、协同、繁荣的电子商务生态系统”,而技术,是这个生态系统的核心
在宁波会议中,第一次提出了“阿里巴巴是一家数据公司”,要把流淌在各个业务部门的数据打通,让信息流、资金流和物流形成统一的数据智能,向数据要生产力。决策层打算在一年内为登月计划找个负责人,第二年,王坚加入阿里巴巴。
“登月”首先需要解决算力问题,这是当时的 IOE 模式做不到的。阿里巴巴自主研发云计算的传奇故事,在此埋下伏笔。
宁波会议之后 7 年,马云首次对外提出“DT(Data Technology)时代”概念。不论向前追溯还是向后循证,“数据”和“科技”二词都是阿里巴巴技术转型的核心线索。
2.2 「五彩石」
阿里巴巴成立的前一个十年,技术在这家公司的角色是业务的追随者、支持者。“技术跟着业务跑”,五彩石项目是典型。
2008 年,天猫还叫淘宝商城,它和淘宝不是珠联璧合的双子星,而是两座独立“烟囱”,它们各有各的 IT 系统,数据和业务都不互通。淘宝业务快速增长,小烟囱眼看就要撑不起高流量、大并发的场景;淘宝商城流量不尽人意,但又无法从淘宝获得分流。
做一个业务就建一套系统,这是传统的企业 IT 模式,但并不适合新生的平台经济。2008 年 10 月启动的五彩石项目,诉求直指“拆烟囱”。
工程师们从交易、支付、会员等业务中提取共性功能、打包成公共模块,又把两个平台的数据沉淀到统一的池子,为此后数据智能的研发奠定基础。再开发新业务,就可直接调用公共模块和数据,大大提升开发效率。
这一动用 200 多号人员、耗时半年完成的项目,彻底打通了淘宝和淘宝商城,首次在架构层面引入中间件,开启阿里巴巴技术的分布式时代。“中间件技术”具有后来的阿里中台的影子,很快在技术圈内得到普及。
2.3 「去 IOE」
技术世界原本没有“去 IOE”这个词,阿里创造了它。
“IOE”指代的是 IT 系统的三样标配:
     • I(IBM,服务器提供商,他们提供的服务器俗称“小型机”)
     • O(Oracle,数据库提供商,他们的软件是“甲骨文商业数据库”)
     • E(EMC,存储设备提供商,他们提供的是“集中式存储”)。
当时的阿里和很多企业一样,依赖 IOE 如依赖氧气。2007 年一年,阿里付给 IOE 及戴尔等厂商的硬件费和维护费高达几千万美元。
IOE 不仅贵,而且不好用。阿里用户激增,数据越来越多,每年早上 8:00 到 9:30 之间 CPU 使用率高达 98%。从未经受如此流量考验的 IOE 系统,越来越无法满足庞大的计算任务。
2008 年中旬,阿里巴巴提出了向互联网架构转型的战略,通过自主研发和替代性方案重构自己的数据系统。这不是简单的系统替换,而是要推动分布式架构取代集中式架构,前者就是今天的云计算架构。
在 2008 年的一次内部会议上,阿里确定了云计算战略。这是众多阿里技术人员的自我革命——阿里的数据库团队全亚洲最好,被称为 Oracle 黄埔军校,正是那群 Oracle 工程师,亲手拆毁了自己安身立命的系统。
2013 年 5 月 17 日,阿里集团最后一台 IBM 小型机在支付宝下线,宣告去 IOE 战役终结。
2.4 「飞天」
阿里用来替代 IOE 的云计算系统,在 2008 年 10 月 24 日得名“飞天”。
2009 年 9 月 10 日阿里巴巴十周年年会,阿里云子公司成立,400 多人的团队开启了中国最早研发云计算的里程。一部朝向“技术无人区”的探险由此起笔。
2009 年早春,飞天第一行代码在北京汇众大厦 203 室诞生,从那以后,阿里云的工程师换了至少五代,最早的核心团队成员只剩 20%。自主研发注定是最艰辛的选择,但曾任阿里云总裁的胡晓明说:“拿来主义盖不起高楼大厦,自主研发的云才能走更远。”
当时很多人还不知道云计算为何物,超前的技术探索换来的是外部的质疑和内部成员的出走。关于“阿里云要被撤掉”的传闻直到 2013 年才彻底消失。那一年,飞天单一集群能力达到 5000 台,成为全球第一家对外提供这一能力的公司,算力底座宣告落成。
今天,飞天能把遍布全球的数百万台服务器连接成一台超级计算机,单集群规模可达 1 万台,10 万个进程达毫秒级响应,拥有十亿级文件数、EB 级别存储空间。飞天网络遍布全球了 200 多个国家,总用户数 230 多万。
没有飞天,阿里不会成为今天的阿里。正是从飞天开始,技术在阿里的功能角色发生突变,技术与业务的关系,从“技术服务业务”变为“技术就是业务”。
2.5 「iDST」 
2014 年 9 月 19 日,阿里巴巴集团在纽交所公开上市,创下美国历史上融资规模最大的 IPO 记录。上市活动结束,阿里紧接着在硅谷宣布成立新的部门 iDST,数据科学与技术研究院(institute of Data Science&Technologies)。
 iDST 的 D(Data)和T(Technology),也正是“DT时代”的 D 和 T。这个以数据科技研究为己任的机构,昭示了阿里巴巴长久以来的自我预言:成为一家数据驱动的公司。
阿里巴巴经济体是座数据金山,但在过去数据的价值并没有被挖掘出来,阿里自嘲是“坐在金山上啃馒头”。变局始于 iDST。它吸引了世界上最懂数据的一群人来到阿里,尤其是人工智能领域的一众大牛。
然而神兵天降并没带来技术跃进的故事,学术研究与业务场景之间天然存在离心力,导致 iDST “空转”,并最终催生了阿里技术史上著名的下乡运动。iDST 的人马被分进蚂蚁金服、淘系搜索和阿里云三个部门,帮助建立蚂蚁金服风控体系、淘系智能搜索推荐系统,升级了淘系和蚂蚁的客服系统等等。
经此一役,技术与业务的对话体系终于被打通。2016 年 CTO 张建锋重举 iDST 大旗,已然重生的大牛们回到出发地。不久之后,阿里开始催熟那个怀揣已久的梦想:建立一所以技术驱动商业的研究院——iDST 的形与魂,都将被熔铸进日后的阿里巴巴达摩院。
2.6「中台战略」
2015 年底,阿里巴巴集团宣布启动中台战略,目标是构建符合 DT 时代的“大中台、小前台”的组织机制和业务机制。前台作为一线业务,更敏捷、更快速地适应瞬息万变的市场,中台则集合整个集团的数字运营能力、产品技术能力,对业务前台形成强力支撑。
关于中台,有个广为流传的类比:美军的作战策略,二战时以团为单位,越战时以营为单位,到了中东战争则以几个人的班排为一线作战单位。敢把这么小的单位放到前线,是因为美军拥有强大的导弹智慧系统,强大的中后台能力可以支撑小团队做出快速判断。互联网时代的商业策略也是一样。
阿里巴巴将核心能力以数字化形式沉淀到业务和数据两个中台,“一切数据业务化,一切业务数据化”,以数字化资产构建企业核心竞争力。在中台架构上,“数据石油”威力显现,成功孵化钉钉、飞猪、口碑等创新业务,聚划算业务只用7个人花一个半月就开发了出来。外部企业需要几十人干半年的业务,在阿里内部靠几个人做几星期做就能完成。
通过阿里云,阿里巴巴将支撑商业基础设施的技术和架构“原子化”输出,让客户企业快速复制中台架构。2018 年阿里宣布组织架构调整,阿里云升级为阿里云智能,中台能力与云全面结合,继续“技术创造新商业”的征途。
2.7「达摩院」
阿里巴巴一直想要成立自己的研究院,技术长征途中几度试图解锁这项任务,但又几度止步深思、调转方向。它在等待一个对的时机。
2017 年 10 月,时机终于到来。阿里在当年的云栖大会宣布成立达摩院,探索科技未知,以人类愿景为驱动力开展基础科学、创新性技术和应用技术。为此,阿里将在 3 年内对达摩院投资超过 1000 万元。
马云对达摩院提出三个要求:活得要比阿里巴巴长;服务全世界至少 20 亿人口;必须面向未来、用科技解决未来的问题。
达摩院与一般研究院最大的区别在于“解决社会问题导向”,它的宗旨是“Research for solving the problem with profit and fun(为解决问题研究并带来利润和快乐)”。
达摩院下设 4+X 个实验室,即机器智能、数据计算、机器人、金融科技和X实验室,现已建成完善的机器智能算法体系,涵盖语音智能、语言技术、机器视觉、决策智能等技术方向,共在国际顶级学术会议发表近 400 篇论文,在国际顶级技术赛事上斩获 40 余项世界第一,取得一系列世界领先的技术突破。
达摩院的前身是 iDST,它保留了 iDST 的人才班底,也继承了“技术驱动业务”的实践路径。回望来路,达摩院的成立与爆发其实是阿里技术体系发展的自然结果,是阿里技术价值观和方法论沉淀的集中成果。
2.8「平头哥」
“死生看淡、不服就干”,平头哥拥有阿里技术体系最朋克的出场。
这个以非洲蜜獾形象跃入公众视野的公司,是 2018 年云栖大会的焦点。阿里巴巴将当年 4 月收购的中天微系统有限公司和达摩院自研芯片业务整合成为独立芯片公司,推进云端一体化芯片布局。
阿里希望通过自研的强大技术平台和生态系统整合能力,推动国产自主芯片的产业化落地。平头哥不仅负责研发,还要担负产业化推广、构建生态等一系列任务,让芯片成为阿里巴巴的一项战略业务
2019 年 7 月,平头哥发布业界性能最强的 RISC-V 处理器玄铁 910,并宣布普惠芯片计划,全面开放玄铁 910 的 IP Core;2019 年 8 月,平头哥发布 SoC 芯片平台“无剑”,面向AIoT时代提供一站式芯片设计服务;9 月,平头哥又将推出全新云端 AI 推理芯片,为人工智能场景提供极致算力。
平头哥致力于成为 AIoT 时代的芯片基础设施提供者,平台化的行业定位有着鲜明的母体经济烙印。阿里进军互联网核心技术领域的决心不啻于一场无声的誓师:技术将成为阿里巴巴面向未来的核心驱动力。
随着过去十年阿里云的大发展、达摩院的布局以及平头哥的异军突起,阿里巴巴在云、AI、芯片等领域的技术实力已都位于业界前列。如果说过去二十年阿里的发展得益于科技革命带来的技术红利,那在未来二十年,阿里不仅要把技术作为核心驱动力,更要通过创新技术去为世界创造新的技术红利。

达摩院,一座非典型的技术研究院
 
达摩院成立三年以来,搭建了比较完整和成熟的科学-技术-产品的研究体系,除了技术赛事和论文方面的成就,还成功孵化了平头哥半导体公司和小蛮驴智能科技有限公司两家高科技企业。
目前,达摩院专注在机器智能、数据计算、机器人、金融科技和X等研究方向,也即“4+X”研究领域,目前设有 14 个实验室:
但要是说达摩院是一座技术研究院,那么似乎还无法完全地概括了它。
如果达摩院是一个纯粹研究技术的科研机构,那么它最终只能依附于阿里巴巴其他的商业业务存活,而科研与商业业务的结合,理论与实际的碰撞,则又是一个巨大的考验。
而这个问题的答案,在达摩院的技术布局和创新机制里就能得到。
3.1 达摩院的技术布局
达摩院的技术布局由三个层次结合,从短期向长期突破,从长期紧紧包围短期和中期:
  • 长期:形成前沿技术有布局(如量子)
  • 中期:核心技术能力突破(如AI)
  • 短期:关键技术可应用(如数据库)
对外,达摩院有着清晰坚定的规划,且遵循这些布局和计划稳定输出技术成果,以技术驱动商业。
对内,达摩院针对不同层次技术也制定了不同的目标、考核周期和激励机制,以人才驱动技术。
以其技术布局的“中期”层面而言,如今以达摩院机器智能实验室为主导,阿里巴巴完成了完善的机器智能算法体系,斩获一众世界领先的技术成果。而在 AI 应用落地层面也逐渐变得长袖善舞,将 AI 的应用落地推广到工业、物流、医疗、遥感、城市大脑等多个场景当中。
相信许多读者对阿里 AI 已经不陌生了,在最新的数据中我们发现,阿里 AI 每天调用超过 1 万亿次,服务覆盖全球 10 亿人,日处理图像高达 10 亿张,视频 120 万小时、语音 55 万小时及自然语言 5 千亿句。
这样的一份成绩单,无疑是十分耀眼的。达摩院展现出的研究模式,是基础研究与工程研发并行的发展,科研应用于商业中的突破。
3.2 达摩院的创新机制
在达摩院的模式里,除了深耕,还得创新。
从目前达摩院的成绩来看,至少有着三大明确且坚定的创新机制。
1)你的需求,我的导向
需求导向,是达摩院区别于一般研究院的最大特点。
达摩院始终相信,好的技术若不具备应用落地前景、无法切实解决现实问题,则依旧是虚无缥缈;好的技术需要脱虚向实,除了具备应用落地场景更应该切实解决现实问题,并以足够低廉的成本惠普大众。所以达摩院坚持以解决社会问题和市场需求为导向,从需求倒推技术研发和技术创新。
2)研发与应用双循环
为了减少从研发到应用的中间环节,缩短科研成果转化链条、提升科研成果转化效率,达摩院制定了“研发-应用”双向循环的研发模式。
“面向业务/市场需求设立研发项目,以研发驱动业务,帮助业务/市场提质增效;”
“以业务验证研发成果,让科研成果在业务和应用场景中快速落地、经受检验,并复制推广。”
基于这个模式,达摩院还研发了达摩院城市大脑相关技术,不仅在车辆检测、深度学习等技术领域取得多项世界第一,还快速在全球数十个城市落地应用。
3) 技术&业务,一个都不能弱
达摩院在组织设计方面也颇为严格,不仅要求达摩院实验室的负责人技术、业务双肩挑,以确保技术和业务的无缝衔接、双轮驱动;另一方面,在业务和场景中发现问题、定义问题,基于问题开展前沿探索和技术创新;最后,还要将前沿技术快速应用化、产品化,沉淀形成可交付的产品/系统,通过业务系统完成技术验证。
这样的组织模式,既减少了从技术到应用的中间环节,又实现了市场需求到技术研发的直接反馈,避免无用研发、提升科研效率。
在这种组织模式下,达摩院存储与数据库实验室研发出全球首个基于 MySQL 的全加密数据库系统,进一步提升我国数据库技术国际竞争力,为构建自主可控的新一代核心系统奠定了坚实的基础。
阿里巴巴,今天已经变成一家技术公司。
这座非典型的技术研究院,可以活得比阿里巴巴长吗?你怎么看?

程序员如何避免陷入“内卷”、选择什么技术最有前景,中国开发者现状与技术趋势究竟是什么样?快来参与「2020 中国开发者大调查」,更有丰富奖品送不停!


腾讯、字节跳动展开拉锯战;网易云音乐称酷狗抄袭;谷歌不再开发云游戏 | 极客头条

估值飙至 280 亿美元,Databricks G 轮融资 10 亿美元,谁说开源不挣钱?

编程网站 Perl.com 被劫,售价 19 万美元

Windows 会有开源的一天吗?


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存