查看原文
其他

探寻美团“超脑”配送系统的前世今生

张之栋 AI前线 2020-10-04
作者 | 张之栋
编辑 | 陈思
AI 前线导读:如何落地实践?这或许是对每一名 AI 从业者的“灵魂拷问”。与温和的实验室数据相比,复杂多变的应用环境,往往会为 AI 技术在各个方面设置各种各样的“大坑”。

以美团为例,美团配送虽然是目前全球最大的即时配送网络,但其配送系统依旧需要面对落地实践过程中的各种挑战:骑手怎样做到对所在环境与场景的实时感知?配送系统如何准确理解与最优决策?物理世界数字化和智能化该怎样去做等等。

为了解美团配送系统 AI 技术落地过程中的各种经验以及遇到的各种挑战,InfoQ 采访了美团点评算法通道主席、美团配送 AI 方向负责人何仁清老师。另外,何仁清老师还将会在今年 11 月 21 日举行的 AICon 全球人工智能与机器学习技术大会(北京站)2019 上分享相关话题,欢迎关注。

更多优质内容请关注微信公众号“AI 前线”(ID:ai-front)
从百度凤巢到美团超脑

InfoQ:请您简单地介绍一下自己,包括工作经历,以及目前在美团负责哪些工作。

何仁清: 我是何仁清,2006 年哈尔滨工业大学计算机硕士毕业,曾经的研究方向是互联网信息安全,按理来说更偏向工程,但却因为机缘巧合,毕业后进入到了百度 NLP 团队,从零开始做起了算法。

在 2009 年的时候,百度商务搜索部正好组建搜索广告团队,然后就转岗到了“百度凤巢”,在凤巢时,我一直从事 NLP 的相关工作,主要包括:广告搜索、Query 理解和改写等,一路随业务和团队一起成长,时任 T9 架构师。

2016 年初,我加入到了美团点评,现在主要负责美团配送的算法策略,智能配送系统建设,以及对配送的体验、效率、成本等方面的持续优化。

InfoQ:您最初加入美团的时候,当时美团 AI 技术的情况是什么样的?

何仁清: 说来也是巧合,在 2016 年 3 月我加入美团后的没几天,AlphaGo 就 4:1 战胜了世界围棋冠军李世石,然后 AI 热潮席卷世界,AI 时代大幕就此拉开。当时,美团的配送算法团队刚刚成立不久,团队也只有一个项目——“智能调度”。“智能调度”也可以被称作系统派单,它的作用是替代线下几千个站长的人工派单工作,并且做到派单效果达到站长人工派单的中上游水平。

因为当时的技术还比较初级,“智能调度”也处在证明自己价值的阶段,所以被骑手和管理者 DISS 各种策略不合理就是家常便饭,好在团队的进步很快,通过不断的技术迭代和算法升级,到 16 年底的时候,智能调度系统在专送业务方面已完成全量推广,而且在当时,这个项目还获得了美团点评公司级别的突破大奖。

刻画现实世界的 AI 技术,是什么?

InfoQ:“美团超脑”配送系统或许可以称作整个美团配送技术的核心,那么您能否简单介绍一下“美团超脑”配送系统相关的 AI 技术体系呢?

何仁清: 配送系统最核心的业务目标是体验、成本和效率,其中效率最为重要。如果效率不变,体验和成本一般成正比关系,体验上升,成本也随之上升,这种情况下合理的均衡点是非常重要的;反之,如果效率提升,却同时做到了体验的提升和成本的下降。所以也可以这样说:效率在一定程度上决定了业务能力的上界。配送是一个链路很长、参与方很多、场景复杂的业务,只做一两个点的智能化是远远不够的,智能化覆盖程度对提升整体效率非常关键,就像木桶理论说的那样,最短的板决定了能装多少水。

目前,美团的配送 AI 技术体系建设已相对完整,横跨时空大数据、运筹优化、机器学习三大学科,涉及预估、地图、定价、规划、调度、IoT 等多个领域,而且还能提供各种平台能力,以及行业解决方案能力。

最近一年期间,“美图超脑”配送系统最新的技术突破有三个:

第一个是物理世界的数字化,建立数字世界的“四维时空”,主要是围绕时空大数据的数据采集、数据查询、数据挖掘、数据可视化等方面。第二个是物理世界与数字世界的连接,对物理世界发生的事件和过程,进行实时感知和理解,并将其映射到数字世界。第三个是第五代智能调度系统——全域柔性调度。这个属于自动化专业概念,后面会详细介绍。

前两个就是本次 AICon 大会将要分享的主题:刻画物理世界的 AI 技术。它主要是基于骑行轨迹、WIFI+ 蓝牙、传感器等多维度数据,经过感知、识别和理解过程,将物理世界数字化。它会建立数字的“四维时空”,包括三维空间:点(POI)、线(路线)、面(AOI)、高(上下楼),还有一维时间用来反应不同时间的变化。

大家可能会好奇,直接使用现有的 BAT 地图服务是否足够?从美团配送的实践来看,答案是否定的。举例来说,首先是精细度,骑手经常遇到的问题是,大黑天要去一个不熟悉的小区,找到 13 号楼 5 单元在什么地方,走哪个大门最近,当地图上找不到或者是给出一条错误的路线时,就要到处找人打听,这对效率产生了极大的影响。其次是维度,比如登上 20 层写字楼需要多长时间、不同时段差别有多大,通过了解这些,可以使订单分配时留下合理余量,既不会让骑手感觉到时间紧张,也不会让用户焦虑等待。

InfoQ:从顾客下单时的门店推荐,到骑手接单后的配送过程,以及最后订单完成时费用的抵扣,这一整个美团外卖订单完成的过程,是如何使用相应 AI 技术的?

何仁清: 外卖是一个比较复杂的业务,是一个顾客、商家、骑手三方市场(three-sided marketplace),同时涉及交易和履约两大部分,这里从顾客和骑手两个视角,做一下说明。

从用户视角看。

  1. 找商家选菜品:主要是搜索、排序和推荐等技术,这些经典问题大家很熟悉。

  2. 下单并支付:需要使用 ETA(预估送达时间)、配送费定价等相关技术。

  3. 等待配送完成:估计你也喜欢下完单后刷一刷页面,看看骑手到哪里,还有几分钟能送达,但实际很多地方的 GPS 信号非常差,比如在室内环境,这个时候就需要 AIoT 相关技术,解决室内定位问题。

从骑手视角看,问题更复杂。

  1. 单子顺不顺:这个主要是派单合理性问题,通过智能调度技术解决。

  2. 定价合不合理:考虑取货 - 送达 - 交付各阶段配送难度,以及天气和供需因素,给出骑手愿意接受的价格。

  3. 怎么送:在不确定条件下(出餐、天气)路径优化问题。

  4. 管控:骑手身份验证、骑手违规识别。

InfoQ:一个合格的系统不可能一蹴而就,相信“美团超脑”配送系统也是一样,需要经过不断的发展,找到“偏好位置”,那么请问:在其研发过程中,“美团超脑”都经历了哪些阶段呢?

何仁清: 配送 AI 技术基本战略是 AI 的“广 + 深”,“广”是围绕整体配送效率目标,通过更精准更智能的方式,不断扩大系统能力边界,让整个系统逐渐成长起来,这个过程中配送系统先后经历了:

2016 年,智能调度 +ETA,取代人工派单,使派单更顺路、更高效,配送效率更高。2017 年,智能定价 + 智能规划,给业务一线运营赋能,业务运行效率更高。2018 年,智能助手 +IoT 硬件,让骑手更便捷安全,APP 操作效率更高。2019 年,智能感知 + 配送地图,更精确的室内外定位、POI+AOI 画像、骑行路线,骑手履约效率更高。

“深”就是深入研究,技术持续精进。举例来说智能调度经历了 5 次大版本迭代,从 1.0 抢派结合,2.0 单人多点,3.0 多人多点,4.0 动态决策,发展到最新的 5.0 全域柔性。

InfoQ:外卖平台层出不穷,而美团却是其中最优秀的平台之一,那么请问在与其他外卖平台竞争时,现阶段的“美团超脑”配送系统有什么样的技术优势?

何仁清: 我在即时配送行业将近 4 年,作为一个工程师也有超过 10 年的经历,从我自己的经验来看,与其关注竞争优势,不如关注业务和技术本身。

外卖是一个范围广、频率高的业务,线下有几十万骑手穿梭在大街小巷,而且室内场景丰富,能够触达商家和用户,仅仅定位上报每天就有 50 亿 +。如何把这些基础数据利用好,建设成准确率高、维度丰富、覆盖率广的基础服务,并把调度、定价、规划系统做的更加强大,不断提升其精细化和智能化程度,这样才能进一步把配送成本降下来,把配送体验搞上去。

虽然现在 AI 技术比较火热,但主要还是集中在机器学习相关领域,比如 NLP、推荐、语音和图像等。与之相比,时空大数据领域、运筹优化领域的研究和突破,整体来说比较偏少,因此在这两个领域探索和研究过程中,需要持续的投入。目前,我们在这两方面都有一些研究成果,但由于这次 AICon 大会的分享时间有限,在大会上主要会谈及时空大数据相关,运筹优化领域的相关内容涉及较少,而这次访谈反倒是一个机会,可以简单介绍一下。

配送中订单分配问题是一个典型运筹优化问题,这类问题系统能够处理的数据规模越大,得出的解越趋近于全局最优,但由于这是一个 NP-Hard 问题,数据量越大搜索的空间也会随之呈指数级膨胀,而且配送订单分配对即时性要求很高,需要在几秒之内就将订单分配出去。解决这个问题的一般方法是:按照商圈将城市切割成一个一个区域,各个区域独立分段以降低计算复杂度。很显然,这里面不仅存在很大的优化空间,也有随之而来的巨大挑战。

为了解决这个问题,调度提出了建设“全域柔性”的大目标,“全域”是指一个城市所有订单和所有运力,能进行整体统一调度。“柔性”是指系统在面对恶劣天气、单量突增等变化时,能快速和智能的自动调整。这里面涉及的问题很多,比如品类、运力和模式等,但最首要的问题还是算力,而算力还涉及到工程、算法、硬件、IO 等多方面,需要长时间探索以及一步步积累才能达到目标。

“美团超脑”配送系统剖析

InfoQ:“美团超脑”配送系统的研发过程中遇到了哪些挑战?又是如何挑战成功的?

何仁清: 拿全域柔性调度系统来说,研发过程中在技术难题攻坚、业务落地上都碰到了大量挑战。而面对挑战,特别是技术上的挑战时,打破思维定式,跳出固有解决问题的模式来思考,往往能够寻找到事半功倍的解决方法。

举个小例子,全域柔性调度系统需要大规模骑手与订单的匹配算法,过去的认知是无法进行并行优化的,因为骑手之间存在互相耦合,问题无法清晰分解;而且,如果沿着过去的模式来优化,很容易陷入到解决一个个具体技术问题当中,一点一点啃骨头,不但进展很慢,而且“天花板”很低。

这个时候就需要思考一下,我们对于这件事情的认知全面吗?假设、目标和约束合理吗?经过这些思考,就有可能从全新的视角去看待这个问题,进而从局部跳出来,从另外一个维度切入进去。

就上面这个例子而言,我们打破固有认知之后,发现并利用新的行之有效的解题思路,算法性能优化了 50% 以上。

InfoQ:没有什么可以极尽完美,同样“美团超脑”配送系统还具有哪些问题是需要解决呢?

何仁清: 美团外卖每天 3000 万订单的体量,即使是百分之一的配送体验优化,也会影响到 30 万用户,所以整个系统持续深耕是非常有价值的,无论是在时空大数据,还是在机器学习、运筹优化上,都需要坚持最高标准,追求极致。

另外随着外卖渗透率提升以及新零售发展,配送规模和社会价值将会越来越大,这些都是对系统的巨大挑战。具体需要解决的问题有以下几点:

首先,缺少行业最佳实践。即时配送是一种分钟级的新型物流形态,发展十分迅速,以至于在学术界和工业界的研究、经验都偏少,拿调度系统来说,算法和工程上很多技术难题,都必须通过自研的方式,边探索边实践。

其次,行业数字化水平较低。比如商家何时出餐的问题,由于很多商家没有信息化,纯靠人工上报,不但无法验证正确性,而且费时费力。这种就需要平台和商家互相协同,找到低成本的解决方案,并在行业推广。

最后,人和系统的协同问题。配送系统不是一项独立的产品,而是需要和人(骑手、管理者等)紧密配合,形成高效的“人 - 机协同系统”,才能够发挥出最大的价值。

InfoQ:您觉得,综合环境下的“美团超脑”配送系统,未来的“进化”方向是怎样的?

何仁清: 即时配送行业的未来发展趋势,应该是多品类商流、多类型运力、多配送模式,在这个趋势下面,会衍生出很多种业务和玩法。而配送系统的目标,就是能够容纳这些新变化,提供数字化、自动化和智能化的配送平台。所以全域柔性调度系统的未来进化方向可以抽象为以下两点:

1)全域柔性:这个新特性前面解释过了,未来不但在调度系统中,在定价、规划、运营等其他系统,也会按照这个思路建设,让整个美团超脑越来越强。

2)5G+AIoT:随着 5G 的推广,硬件、边缘计算、AI 技术的不断成熟,物理世界的数字化程度将持续加深;配送系统的智能化水平在越来越高的同时,会通过手机、语音、智能硬件、可穿戴设备等各种终端,更全面的为骑手、商家、管理者赋能。

未来的事

InfoQ:AI 技术在很多方面是共通的,美团的 AI 技术未来有没有可能应用到其他领域?比如旅游路线规划等。

何仁清:美团超脑是针对分钟级配送物流场景开发的系统,类似智能调度、路线规划这种能力,可以比较自然的应用到运筹优化相关领域,比如物流、交通、智能仓储等复杂环境。同时,物理世界数字化技术的通用型更强,像室内定位技术、AOI 画像等都具有比较高的商业价值。

目前,美团凭借外卖、配送、到店、共享单车、打车等诸多业务,拥有超大规模、超多维度和超强覆盖率的时空大数据,如果结合 AI 技术,这些数据将会在智慧城市、ToB 服务等方面发挥出更大价值。

InfoQ:美团整体 AI 技术未来的重点会是什么?是着重于大数据处理,还是对感知系统的完善,亦或是发展其他还未关联到最新 AI 技术?

何仁清:现在 AI 技术比较火热,尤其是在深度学习方面,各种网络结构模型不断涌现,相关 paper 和技术博客层出不穷,高校毕业学生也是扎堆涌入。由于各大公司在工程方面的持续攻坚,不但使机器学习拥有了超大规模数据的处理能力,而且技术开源和平台也显著降低了使用门槛。

整体看来,这是一件好事。对国家人工智能战略规划、AI 领域技术发展、传统行业的“AI+”转型等都很有帮助。但接下来,随着 AI 在产业的不断深入,很多问题也逐渐显现。

比如数据问题中数据隐私、数据安全、信息孤岛等问题;比如边缘计算问题中低功耗计算、不同设备的互相协同等问题;再比如 AI 与产业特点如何更好结合的问题。而这以上的几个问题,或许就是 AI 技术下一阶段的主要挑战。

美团是典型的 O2O 公司,在 Offline 场景下,AI 技术应用将是它要面临的主要难题,所以美团更多的还是要考虑“5G+IoT+AI”这个技术方向;另外,O2O 是一个重运营的行业,如何结合“Bigdata + Machine Learning + Operation Research”,全面提升运营效率,实现全局最优是重点所在。而且,我认为这些也将会是美团未来需要解决的重点技术问题所在。

采访嘉宾介绍

何仁清,美团点评算法通道主席、美团配送 AI 方向负责人。2006 年哈尔滨工业大学计算机硕士,毕业后加入百度 NLP 团队,2009 年转岗到百度凤巢团队,从事自然语言处理、数据挖掘、机器学习、检索等研究方向,离职前任百度主任架构师。2016 年初加入美团点评,整体负责美团配送的算法策略,进行智能配送系统建设,全面支持美团配送业务发展。目前工作方向横跨运筹优化、机器学习、时空大数据挖掘等多个学科,工作内容包括:智能调度、ETA、智能定价、智能规划、机器学习、AIoT、骑行地图等多个子方向。

活动推荐

以上就是 InfoQ 对于何老师做的简单采访,还想进一步跟何老师交流的可以来 AICon 北京 2019 大会现场面基。

AICon 大会 汇集了来自 Google、Facebook、Twitter、BAT、字节跳动、美团、滴滴、京东 等一线互联网公司的 50+ 优秀 AI 技术案例,邀请 颜水成、贾扬清、崔宝秋、吴华 等 60+AI 技术大咖带来精彩的内容分享。

想了解详情的同学可以点击“阅读原文”了解详情。也可联系票务小姐姐:18514549229(同微信)

今日荐文

点击下方图片即可阅读

四年完成400万行Python代码检查,甚至顺手写了个编译器


你也「在看」吗?👇

文章已于修改

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存