查看原文
其他

张弦:AI技术打造复杂出行场景下更懂你的智慧地图

TB 泰伯网 2021-04-28

滴滴出行地图事业部总经理 张弦





日前,滴滴出行地图事业部总经理张弦在北京国家会议中心做了题为“AI技术打造复杂出行场景下更懂你的智慧地图”的演讲,与现场观众分享了滴滴如何借助AI技术,去深度挖掘地图在出行场景下的巨大价值。

以下为演讲实录。

张弦:

今天分享一下地图在出行这个复杂场景下的挑战和它的一些解决方法。有些挑战可能是我们难以想象的。

在解决挑战的时候,我们用了非常多的方法,我们更多把对这个事情的认知思考和结合分享给大家,这个过程我们就知道遇到类似的场景时候应该怎么做,少走一些弯路。涉及具体的技术是非常复杂的,公式特别多,今天我们就少讲,更多讲方向性的东西和结果以及背后怎么思考的。

我在这个行业做了十几年,前一段工作经历是做传统PDA导航,这个时候觉得用户对地图要求挺高的,感觉车厂对地图要求也很高。后来做了互联网地图,就是现在流行的BAT地图。因为是免费的,似乎互联网做这个事情的时候也不是特别严肃,似乎它的品质要求不是那么高,实际进去以后发现在这个场景下用户对地图的服务品质要求特别高。因为他更容易发表意见,发表的意见更多,他的用户群体更多。一个车机一天或者一年很少发表反馈,但是地图发表抱怨的频率和能力特别强,所以我们经常被各种挑战。因为有了挑战和压力,才有动力做好。

现在又投身于出行的地图,其实发现出行的地图对自驾导航要求又提升一个大的台阶。因为每一次出行都是一个交易,都是一个付费型的,这里面有任何一个差错,用户和司机对它的容忍度很低,收钱你就得服务好,对服务的理解度也很低,会产生一些纠纷和矛盾。应对这些矛盾的时候地图又开始进化了,这里面有巨大的变化。

中间有一个表,我归纳了一些核心场景的变化,最后发现随着业务场景的变化,地图的技术、应用、用户价值在发生剧烈的变化。我们怎么把知识沉淀下来分享出去,是我们愿意做的事情。

下一个时代地图的挑战是什么?可能是无人驾驶。我们现在隐约感觉,无人驾驶的地图和我们现在心中规划的高精度地图玩法是有巨大区别的,可能是质变。可能不只是地图的精度提高了,也可能不只是它的对象更加丰富、关系更加复杂,可能生产、制作、更新、存储和服务方式会发生剧烈的变化,所以容错率也有数量级的提升。每一个变化都是时代变化,正是因为这个时代催生了我们对技术和产品的认知。

滴滴本身我就不介绍了,除了这个图,我们还在这个图添加了外卖业务,我们做外卖业务发现送人会比送盒饭更难,因为人有情绪,会表达,有肢体动作,盒饭是没有的,所以盒饭运起来比较容易。

滴滴未来的使命,一个是在出行领域,继续做打车网约车、单车以及拓展到国际化;第二点,向汽车运营商发展,比如汽车定制、充电;第三个是智慧交通,通过技术的手段优化服务、优化道路、红绿灯、基础设施。我们在上面做了实践,通过优化红绿灯和车道,通过优化点功能效益都有15-20%的提升,某些路口可以达到30%的提升。现在整个交通治理处于非技术的状态,如果可以充分用上技术的手段,交通能力会大幅度的提升,可以简单理解为道路网络是一个生产线,是一个流水线,这个流水线的能力现在还属于很蛮荒的阶段。

地图在出行起到什么样的作用?有几个简单的场景,我们后面会分享一下这些场景背后的挑战和一些基本的解决方案。第一点,定位和上车点,看着是非常小的功能,但是对于用户价值非常大,这一个功能让整个通话率减少了30%,其实每一次通话都是很痛苦的。

下面这个是推荐目的地,光这一点让用户的输入次数减少了40%,很多时候他不需要输入就命中了。C是推荐加检索的页面,ABC构成了特别简单的发单过程,我们现在有70%的订单不需要输入任何一个字母就可以发出去,或者只需要输入三到四个字就可以完成订单,这背后运用了复杂的技术手段不断解决问题。所以有些时候产品越简单技术越复杂,如果产品越复杂,就是技术没有做好。

D点,我们有一个预估价,它不是结算价,结算价是按实际走的距离和时间算的,我们首先预测这个订单所走的里程和时间,以及这个订单的低速时长、高速时长和夜间时长,每个时长定价都不一样,这个时候没有复杂的技术问题,我们后面会讲我们怎么来处理这种技术问题,怎么让这个偏差从20%降到13%以内,这也是一个艰苦的工作。

E点,你可以看到司机在哪来接你,光这点我们让整体取消率降低了2%,要把司机位置信息实时同步给云端,再同步给乘客,再加上司机手机的网络定位的能力,还是很复杂的,真正把功能做好,我们是花了大量的时间调试版本。

F点,这个是推荐的路线,有一部分用户可以用了,正在准备扩大流量,看到路线的时候,你可以对行走路线更加确定,或者干预路线,让乘客心里更加放心。

在司机阶段,提供接驾服务,提供送客导航服务,可以让司机反馈地图的错误,最右边这个图还反映出实际上我们心目中想象的GPS轨迹是一秒一个,很完美的线型结构,可是我们经常说的大量轨迹是右边的这种。可能在平时我们的订单比例不低于8%,刚才这个案例是比较严重的,这个案例不低于3%,这个时候人肉眼也无法辨别怎么走,这个情况你该怎么计费?给的信号精度还特别高,这个是不是可信?处理的时候非常复杂,我们最初用SIM模型,现在用了深度模型和特征输入,让这个司机预测道路怎么走,因为这个不能预测错了,跟钱直接相关——背后有十个团队一直在迭代这个功能。

除了刚才说的我们可见的司机端和乘客端直接的体验,背后更是一个复杂的系统,每天要支持三千万单的交易,因为交易是一个放大效应,每天请求的次数可能达到700、800亿次,每天请求的路径计算有400亿次,每天请求的检索和推荐次数也有数十亿次,这对系统整个工程要求特别高,所以我们支持分单,现在所有在线的车,可能是全国范围内有三四百万辆,这个时间发的订单有几万个,不断的求矩阵的相关性,每一个相关性有巨大的计算维度,比如时间、距离、费用,还有等待时长、司机的服务分和乘客服务分,还有安全指标安全系数,比如司机从A到B点以后,你必须做最大化的资源调度分配,这个时候地图就起到了极为关键的作用。

当用户在抱怨地图的时候,用户在抱怨什么?滴滴每天会收到50万个投诉电话,地图也要收到几千个投诉电话,投诉的第一个是路线,比如绕路。就这一点来说,我们想象中这似乎是一个技术问题,其实很多时候50%是司机和乘客个人的行为,比如他选择回龙观,就无法给一个准确的路线。

主观认知,他对这个路线熟悉的时候,他不认可你另一条陌生的路线,如果他对你的路线不认可,他会有不安全感,这是主观印象。还有主观的印象,交通规则的错误率、交通限行等等,这些变化率特别高。有些指标比较吓人,交通规则的错误率相当高,高到让我自己都很惊讶的地步。

用户会说你的导航不准,或者说你的卡住了。卡住的问题有50%来自当时的GPS信号缺失,就这一段时间没有GPS信号所以就卡,这个问题就是我们技术要解决的,我们要用IMO手段解决这个问题。还有路网的错误率,定位不准,这些问题都是我们在日常中天天面临和面对的问题,正是这样,我们团队每天都在做最高优先级的事情解决这些问题。

和通用的个人导航相比,共同的地方、相同的地方和特有的地方,我们简单总结了一下。定位方面,出发之前我们是不是不需要特别关心自己定位的起点,因为车开过来,走一走就可以了。但是对于出行来说,我们要先确定非常准确的上车点,要让司机和乘客非常好碰面,比如我们在国际会议中心,确定东南西北停车对司机来说是非常难的事情。

选择好了就是一个电话,选择的不好,可能就要打好多的电话还不一定搞定。所以我们要搞清楚这个地方能不能停车,有没有摄象头、警察,是不是单行道,有没有绿化带,不能停在这里堵上后面的乘客。

偏航判断是个人导航常用的功能,但是滴滴来说,我们要把不靠谱的点还原到真实路线上,让计费准。选择路线的时候,个人导航更多考虑怎么停车,对滴滴来说要考虑乘客在哪里下车,下车的地方有没有摄象头,是不是会把别的路堵上。我们面临这种问题的时候,除了要解决地图通用的问题,还要面临很多数据的缺失,比如现在我们不知道路可不可以停车,也不知道这个路是不是单行,这些东西都是我们通过各种的手段建立特殊工程,来把数据补齐。

在导航的时候,需要考虑到订单和订单之间连续的接送,连续的导航产生的导航体验和个人导航是有非常大的不同。在做躲避拥堵的时候,这是一个常用功能,但是滴滴上,这个功能对于预估价是很重要的,还有一口价,从A到B说是十块钱就是十块钱,不能多收,所以估多了就对乘客不利,少了自己就会有损失,怎么做得很准?这是非常难的一个事情。

在路径计算的时候,我们现在面对的需求可能还是每秒百万级的QPS,每次计算的时候要十个毫秒给出准确的批量路线。我们个人导航领域,每一次QPS一百多毫秒就可以了,但是你的计算资源太多了,怎么解决这个问题?而且是多业务模型快速的拼车和专车,优化模型都不一样。

正是因为右侧的这些不同的地方,推动了我们把整个的技术、应用、数据往上一层一层的推进,最终让地图有一个变化。

面临的挑战,这是商业行为,每一个订单都是一笔钱,所以你要非常严肃的对待每一公里、每一分钟、每一块钱,不允许错的,各位是滴滴的用户可能对这个也很在意,不过技术的手段还没有做出来,还要好几年才能逼近这个目标。

对地图来说,交通规则的错误率,在行业中不是很小的数据,是比较大的,我们第一步是要做到哪怕是1%的错误率。每天收到数十万订单,实际上是远大于1%的数字,我们怎么让错误减少?不是说只是减少错误,而是怎么在成本下降的情况下,把品质提高一百倍,这是很难的事情。现在我们也做了很多的实践和很多的改进,好处是我们每做一次优化都会有一个商业价值。虚拟号码我们是要付钱的,每个月号码保护的费用是一千多万,每个电话少打一次就几分钱,如果每个订单司机和乘客少通话、少犯错、少走一个路口,每个订单节省一分钟,就变成了产能,产能转化为产值还是有一些过程的。

我们非常关注用户价值的层面,为用户创造价值,让用户少打电话,计费准确,接驾很有确定性和安全感,让司机工作效益更高,让司机工作压力更低,这就是我们很在意的用户价值。只不过现在我们做得好多东西跟用户最终的心理需求有相当大的距离,现在我们正在缩小和弥补这些距离。

实践过程我们怎么解决问题?除了充分的运用行业里的积累,道路的交通规则和路况UGC,我们还用交易行为、驾驶行为,比如左转右转都是驾驶行为,司机和乘客对于我们反馈,每天电话还有直接APP反馈有数十万次。基于新的技术,我们行业里经常用的算法我们是一直用的,而且起到非常关键的作用,我们也在对大数据进行充分挖掘和机器学习的算法使用。AI技术不是万能的,某些场景还需要靠我们行业之中的积累,比如客户端的开发、数据流的开发、工程,还是要靠行业的积累,但是在有些可以被模型化的地方,结合行业积累的特征,就可以做非常好的提升。

人才结构也有很大的变化,有40%地图行业、30%计算机、30%机器学习,形成了整个地图新的玩法和认知巨大的变化,为整个出行服务提高了效率和提高体验,出行的行程日志又反馈给地图系统。所以我们一方面在用行业的地图积累,一方面用很多自己特有的数据,像交易数据,这两个数据的体量是对半开,起到非常重要的作用。

基于大数据,每天订单量有三千万单,产生的数据日志非常多,路径计算有四百亿次,导航也会有数千万次,导航产生的各种左转右转、语音提示、司机偏航行为、刹车行为也会有数亿次,这些数据的数列集是非常大的。

除了数据大,更多是怎么用这些数据产生价值。最下层的地图生态,我们非常关注行业里获得数据,从司机和乘客角度获得驾驶行为和反馈,与政府合作获得数据,这些数据源都是非常宝贵的,整个行业数据孤岛现象还是很严重的,数据非常割裂,标准化很差,质量也不是特别完美。

我们在上面做很多的工作来提升数据生态的丰富度,利用数据生态结合我们行业中的积累,做大量的清洗和自动化工作,对定位的指南、POI、道路网、轨迹流还有很多的ID特征进行特征化和数据清洗工作。现在滴滴常用的POI错误率已经做到小于0.5%,但是还不够,我们目标是做到万分之一。还有交通规则,通过交通规则的挖掘和反馈,可以把交通规则的错误率降低一半,但是仍然不够。

在此之上是对数据价值充分使用和挖掘,定位检索推荐和路径规划,在这个时候,AI技术在里面发挥得比较充分。最上层是可以对业务的接驾分单进行非常好的支持。具体的实践经验,比如现在我们通过行车记录仪采集很多的图象,这些图象可以通过计算机视觉识别这些可停车的标志,比如说马路牙子刷黄线,禁止停车,是不是有网格线、禁停标志、摄象头,你要知道中国这么大的城市,这么复杂的道路结构,以低成本快速的方式覆盖,就是极端复杂的难题。

我们推荐上车点的时候,需要考虑这个乘客是否可以抵达,因为我们也出现过把上车点推荐到封闭道路上,因为我不知道这里是封闭道路,也不知道这里放了一个铁栅栏,因为中国的基建速度非常快,我们也是用行车记录仪去分析中间是不是有割裂带和铁栅栏,来通过这个让用户的上车体验更加安全和可靠。

现在我们部署了数万台行车记录仪,可以保证在我们现在的重点城市,每个星期把50%的道路扫一遍,可以保证每个月把80%的道路扫一遍。我们通过自动化的图象汲取技术,像交通规则、割裂带、禁停标识,可以批量化的提取出来,形成新的数据图层,再给上层模型。

上次我们去上海,很多的道路刷了黄线,法规上绝对不允许停车,判断标准很简单,只要你停就罚,但是面临一个很大的问题,如果这个街都不让停车,那到底停到哪里?我前后走了五百米都不让停车,实际情况是司机和警察在玩猫捉老鼠的游戏,如果警察开车你也可以停,但是如果警察停电动车你是不敢停车的,现实情况的复杂性,也是让我们做得不太好的一个因素。

基于司机和乘客的驾驶行为我们可以发现道路的变化,我们发现一群司机走到这里的时候,按照我们的预期目标走,他应该到蓝线,但是到蓝线他就偏航,我们就会发现有猫腻,然后人工检查一下,发现道路修路,就临时改道,这些技术大幅度提升了我们对缺陷的发现能力和改进能力。

时间估算来说,基于行业的积累,我们在15年时间偏差还是比较大的,20%以上,15年下半年实现了基于简单的机器模型,还是比较简单的特征,它的偏差一下子降低了五个点,接下来我们做的是使用了上千万的数据特征进行训练,又降低到了13%,春节前我们实现了基于深度模型,让偏差降低到了11%,这可能是行业乃至全球最好的表现。我们现在用智能学习的方式尝试让时间偏差做得更好,滴滴对时间偏差要求特别高,因为涉及到分单,既要考虑距离还要考虑时间,只是我们现在做得不是特别好,因为有的时候预测不是那么准,所以有的时候会分给你看起来比较近,实际比较堵车的。ETA对于用户估价也是有非常重要的作用。

路径规划上,我们也是对路径规划的算法基于MAE做很多的改造,比如对于整个结果集的排序可以显著增强路线的合理性,通过躲避拥堵模型提升躲避拥堵,还有通过偏航模型来躲避偏航,预估价在全国可以达到20%的降低,分单表现为距离有1-2%的降低。

检索是一个地图行业最常用的功能,我们也是通过不断的深度学习的优化,让我们在平均3.5个字输入情况有95%的点击率,可能你输入3个字,你想要的地址就在里面,可以很好的完成发单使命,并且我们把这个技术能力放到了葡萄牙语搜索和繁体搜索等等,因为现在搜索也在面临国际化。

前面说的是一些挑战和认知,以及一些实践的经验,2018年我们继续做的事情还是提高服务的确定性,服务的质量来自确定性,来自方差。很多的时候我们跟用户说接你就十分钟,大家就认了,但是这次一分钟,下次十分钟,大家就觉得很难受。更多的是让重大偏差的概率降低,让预估异常率降低,让困难接驾比例降低。

在乘客体验这块是提高服务确定性,在另外一端提高服务效率,让交易效率更高,让拼车的时候可以拼的更多,跑得更快,让用户的发单转化率可以更高,取消率降低。

现在我们有很多艰难的课题,这些课题是我们自己很难解决的。我们一直在寻求合作,现在也和多个重点实验室进行课题的合作,滴滴有数十个课题在进行合作。今天我们也开放了几个课题,欢迎各位找我们合作,也欢迎学生同学到滴滴实习,去应对这些挑战。

第一个,面对合作的时候我们提供城市级的数据集,是非常庞大的,可能在行业里从来没有这么大的数据集,而且是真实的交易场景,数据量即使压缩以后都有50G。

我们面临的问题是路线评估方法。因为路线好不好,很多的时候是没有标准的,好和坏既受客观的影响,也受主观的影响。道路是不是交通规则错误,是不是拥堵和绕远,受到很多主观因素的影响,比如他对路是不是很熟,心里是不是有默认的认知,这个时候做评价方法是比较难的,我们希望可以找到一种让社会广泛认可的路线评价方法,这个方法对我们做目标函数的优化是比较重要的。

第二个,道路权值挖掘。现在行业最常用的道路权值是道路等级和公路等级,还有车道数、速度,但是这些值往往不够细致和精确。我们会聚到这条小路,发现挤进去出不来,数据上不知道那条小路。有时候还发现这个路非常颠簸,是一段土路,但就是这段土路可以省三到五公里。有些城中村晚上走的时候非常方便、非常快,但是白天一个自行车都会堵几分钟。这就涉及到评价标准,这个问题的解决对我们来说真的是很大的挑战,我们一个是没有精力,还有一个是也没有办法做得很好,我们希望行业中有一些合作者。

还有室内定位研究。现在手机定位也不是那么靠谱,经常街区都弄错,我们也希望用上室内所有的信号,充分利用手机的各种传感器提高定位的准确度。我们希望得到行业指点。

第三个,大规模的室内场景构建。室外场景的构建还是可以做的,因为现在行业的积累对于室外场景用技术的特征,还是比较丰富的,构建了三维模型。我们看展柜的时候看到很多的三维层次的模型,构建的还是比较容易的,因为特征特别多、特别丰富。

室内场景,像我们这样的建筑,其实这种计算机在寻找特征的时候,能力是很差的。机场和火车站识别能力特别差,可能整个平面上可以提供的有效点非常有限,这对三维组建和图片识别是非常有挑战的。但是人眼的角度你可以发现大量的特征信息,比如有很多的几何信息,点、线、圆柱、面,如果可以做成很多的特征,它用来对三维重建是非常有好处的。这块也是我们现在面临的难题,我们希望可以为用户从你现在出门开始到你上车,提供一个非常好的实时的虚拟的体验,让你的整个上车过程非常自然流畅,不是完全稀里糊涂的状态。

像北京南站,我自己走过十次以上,但是每次去北京南站我都觉得是一个无比痛苦的过程,因为不知道从哪出去,反正先稀里糊涂走到大街上再想办法。因为光看北门出,走着走着北门就不见了,出去以后发现是在地下室,还上不去,或者上去以后发现在楼下。

我们城市在发展,技术也在发展,我们希望通过技术的手段可以给用户更好的指引,让他的生活更加简便。

如果对于我们的开放课题有兴趣,欢迎访问我们的数据开放计划,可以跟我们取得联系,也可以获得我们开放的数据集。现在这个数据集在国内已经向上百家的数据科研机构提供了,而且是经过管理单位认可和授权的数据集。

扫码进入大会官网






深入阅读|点击图片或标题


刘欣:汽车是大件IOT设备,未来两三年智能网联车迎来爆发期



精读

商业航天怎么玩儿,如何去海外掘金:卫星联盟王大成对话航天世景钱广军、达华卫星王中民、航天宏图郭韬、欧科微马陆

商业航天是不是一个好的投资赛道:知卓王世超对话天仪研究院杨峰、华控基金赵伟、国华基金胡海若、开金控股王二龙

创新者眼中的自动驾驶市场机会:刘时笑对话Mobileye苏淑萍、小马智行胡闻、Momenta谢国富、主线科技李博

陶闯:区块链赋能空间信息产业,下一代BAT正在悄然诞生

潘德炉院士:大数据是「智慧海洋」建设的灵魂




    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存