滴滴章文嵩:不仅软件开源,还向学界开放数据
演讲 | 章文嵩
责编 | 伍杏玲
出品 | CSDN(ID:CSDNnews)
6月27日,在第十四届开源中国开源世界高峰论坛上,滴滴出行高级副总裁章文嵩发表《滴滴共享出行平台与开源》的主题演讲。
章文嵩先是介绍滴滴的发展现状:仅去年,滴滴年运送乘客达100亿人次;目前注册用户数达5.5亿。在这背后,滴滴平台每天ETA(预计到达时间)请求在700多亿次。
可以想象到,滴滴 6000 名研发人员搭建维护的技术框架是十分庞大的,那么在其中开源软件是扮演一种怎样的角色呢?
下面一起来看看章文嵩的分享:
滴滴平台每天ETA请求达700多亿次
我们先看看网约车如何改变生活?
我们通过移动互联网把司机和乘客连接后,实际上解决了信息不对称性的问题,通过这些撮合,可以提升整体的效率,现在大家也感受到通过网约车比你在路边打出租车的体验好很多。
我们平台上大量司机是兼职司机,每天在上下班的路上接几单,将现有的车辆能有效利用,这就是绿色出行。
我们也知道出行的需求是弹性的,比如早高峰的时候出行需求特别高,到了十点之后平峰期出行需求比较低的,往往是早高峰需求的二分之一或者三分之一。等到了下班的时候是晚高峰,晚上九点时有一个夜晚小高峰,因为大家加班也好,聚会也好,一般夜晚九点到十点回家。
大家的出行需求是弹性的,理论上供给应该也是弹性的,这样才能做到供需平衡。
如果我们只按早高峰配置运力,那么在平峰期效率是没法得到发挥的。因为在白天时间都是平峰期,平峰期很多车辆不能得到有效运用。我们一定要结合全职的运力加上兼职运力(兼职运力本身就要出行就要开车),这样才可以把现有的供给资源车辆,得到有效的利用。
随着共享出行的平台订单密度规模进一步增大,大家还可以拼车出行,而且拼车能有效地让所有交通工具得到有效的利用,会更加绿色环保出行。
在滴滴成立的七年时间里,随着移动互联网的发展。仅去年,滴滴年运送乘客达100亿人次;目前注册用户数达5.5亿。
面向消费者,我们提供快车、出租车、专车服务、共享单车、代驾等服务,在城市里提供智慧交通、充电站、公交相关的一些服务。
我们在中国沉淀的产品技术经验也输出到国际市场上:2017年年初,我们开始布局巴西;2018年,我们在澳洲、墨西哥布局;两个多星期以前在哥伦比亚布局。
目前拉美市场累计服务用户1亿4000万,拥有数十万司机,我们的服务受到拉美用户好评的,我们在拉美的市场增速也是最快的。
每天我们的业务需要计算大量的数据:计价、每秒钟上报定位点数据、行驶多长时间、行驶多少里程等,还有大量用于提升安全体验效率的数据,比如说A点到B点,预计到达时间怎么样,所以每天滴滴平台有ETA请求达700多亿次,平均一秒钟做400万次计算,这是全世界最大的量。
技术驱动:6000 名工程师
滴滴是完全靠科技驱动的,目前我们有近6000名工程师,公司里有一半人员是技术人员,我们有大数据、人工智能、云计算平台。
在滴滴有很多预测的场景和实时计算场景,例如前文的实时里程计价、交通实时度量、路况度量,包括对未来的路况要做预测,对供需要做预测,在ETA计算时要做预算,路径规划要做预测,包括对分担调度我们要做预测。这些预测场景通过人工智能算法实现的,由于问题的复杂,这背后需要强大的计算能力。
目前仅一个用作机器学习的GPU(图形处理器)集群已经是32P,现在还在不断地扩展中。
滴滴是“物移大智云”里最典型的代表,作为全世界最大的车联网平台,我们通过移动互联网的方式把更多的车辆、用户连在这个平台上面,在这个过程中我们积累了大量的数据,这些数据通过人工智能算法,不断地去提升整体的调度效率、体验的效率,包括整体的安全。
现在滴滴车辆上逐步安装了一些车载设备,有对内对外摄像头,这些摄像头是为了安全,能提供车前的行车记录、订单行程中车内录像,在遇到纠纷的时候更好地判责帮助车主维护权益。
在这里面滴滴大量应用到很多技术:大数据相当于食材,人工智能技术相当于菜谱,云计算平台相当于厨房一样,菜谱加食材,我们在一个厨房里把美味的大餐做出来。
受益于开源,也回馈开源
滴滴的技术平台用了大量的开源软件,在滴滴平台的主要软件架构中有四五千个服务模块,(PPT)上罗列了一些相对重要的模块。
我们有很多自建的数据中心,还有SDN(软件定义网络)的软件,SDN用了很多开源软件,因为我们做了很多资源调度平台,资源调度平台用了容器化,我们构建一个基于SDN统一资源调动平台,包括数据库的服务。
在存储上,我们自己搭建了面向位置服务的存储引擎,在开源基础上做了一个对象存储。
离线的数据上,我们用了MQ的软件来进行整体大批量的数据传输。大数据平台上,有非常庞大规模的数万台集群在跑,包括实时的计算平台。另外我们也搭建了一个机器学习的平台,主要做一个资源调度平台,上面支撑的AI框架、比较流行学习的框架,我们在机器学习平台也支持。
滴滴内部做AI应用算法的同学,他们在平台上只要搭建了自己的模型,至于模型规模、数据获取,这些基本上都能自动化起来,基本不太需要自己大量地写程序。
很多中台的服务是我们自己开发,我们围绕自己业务场景来开发司机系统、订单系统、支付等等,就不一一介绍了。
滴滴有自成体系的一套运维系推,里面也有大量的组件。在滴滴的平台上面,通过大量的应用开源软件加上自主开发的软件,共同构建了全世界规模最大的出行平台。
滴滴受益于开源,开源软件帮助公司快速发展和降低成本。所以我们也想回馈开源,在很多领域,包括移动开发、中间件、系动软件、前端、研发、测试、智慧交通、人工智能这些领域,均有一系列的组件。
这些组件我们从2017年开始对外开源,总共有23个项目开源,开源获得Star数36000多个,也有外部很多公司参与我们的项目开发。
滴滴花了大量资源来做开源,一方面是在内部做一些开源的建设,将内部所有部门的壁垒全部打掉,除了一些机密的要求,大部分代码是对内开放的,这样做的好处是可以避免在内部的重复开发。好的项目会真正帮助我们会对外开源、回馈社区,建立起这个生态标准。
另一方面希望对外输出影响力,滴滴整个平台有非常多的技术挑战,实力也不错,对于技术品牌的建设有帮助,后续我们会吸引更多优秀的人才加入进来。
我们的核心还是打造滴滴的技术文化,是开放协作的。
不仅软件开源,还向学界开放数据
我们不光是开源,还对学界开放脱敏数据。因为滴滴是全世界最大的一个共享出行平台,我们在交通领域的数据较多。由于中国人口巨大,在很多领域中国拥有的数据比全世界其他地方多,但是目前很多高校基于一些研究拿的数据往往是国外的,这是很不对等的。
所以我们努力在把滴滴一部分脱敏数据开放出来,希望学术界、科研机构能基于滴滴的数据来做研究。我们数据量是全世界最大,从2017年,我们开放成都、东北区域的轨迹数据,还开放了成都的检索数据、西安高新开发区的轨迹数据,今年还开放了车载视频的数据。因为车载视频涉及到很多自动驾驶、计算机视觉方面的研究。
自开放数据以来,已经有四五千家的学术机构来申请我们的数据。上星期我们还开放了海口的数据,包括轨迹的数据。当然这上面没有用户信息,乘客和司机的信息隐私一定会保护的。但开放的数据可提供给经济学家,来研究一个城市的交通领域变迁。
2018年,我们成立了AI for Social Good共创平台,滴滴联合十几家科研机构社会组织一起发布的这个平台,我们希望联合更多外部力量,在安全、环境、健康、无障碍领域里,对更多的项目,比如说我们在小部分滴滴汽车中安装了一些移动传感器,用于检测空气数据,帮助绘制精细化的空气质量图,这对环保治理非常有帮助。
未来在这些领域,我们希望更多的社会机构和我们一起通过人工智能的方式,让出行更美好,让城市更加智能,谢谢。
【End】
热 文 推 荐