其他
促科技创新:高德数据优化篇之OceanBase最佳实践
本文作者:振飞(高德地图总裁)炳蔚(高德技术服务平台负责人)福辰(高德服务端架构师)背景高德成立于2002年,是中国领先的移动数字地图、导航及实时交通信息服务提供商,向终端用户提供包括导航、本地生活、叫车等服务的一站式入口。从拥有甲级测绘资质的领先地图厂商,到首家成功转型移动互联网的地理信息企业,再到国民出行平台,以及出门好生活开放服务平台。业务一直在进化,但高德“让出行和生活更美好”的初心未变,本质的核心专注点一直没有改变,就是地图导航,拥有从数据到软件到互联网的完整研发能力和经验,同时在人工智能、大数据、计算机视觉等一系列新技能方面也拥有深厚的积累。地图是什么?它是真实(物理)世界在网络空间的数字化映射;高德的目标就是“连接真实世界,做好一张活地图”。作为如今各行各业都非常关注的一个概念,“数实融合”代表大家对于实体经济进一步升级发展的期望,代表着能力和效率的现象级提升,以及面向用户和消费者的更优质产品和服务。而要做到这一点,其中的关键在于推动实体经济和数字经济的高度融合,对于高德地图所在的交通出行行业来说,也是如此。我们致力于用“促科技创新、与生态共进”的方针,助力交通产业更好的实现数实融合。从高德的视角,对于“数实融合”的理解是什么样的?一方面,我们明确了包括人、车、路、店等在内的实体要素,才是交通出行产业中的真正主体,相关领域中耕耘多年的企业和机构,才是真正值得尊重的老师傅,他们在各自领域的专业度和经验不可或缺;另一方面,科技创新平台提供了交通服务和海量用户之间的连接能力、数字化的展示平台,提供了产业要素转化为数据的能力,并且还能为各类新型交通服务提供强大的计算能力。高德的二十余年,始终与大交通产业中其他领域的老师傅携手共进,尊重他们的专业领域,尊重他们的不可或缺,才得以与他们建立起了深厚的合作关系,成为他们服务的科技标配。2022年10月1日,中国国庆黄金周假期的首日,高德实现了创纪录的2.2亿日活跃用户。在2023年3月,受到日益增长的同城通勤和城际出行需求推动,高德的日均活跃用户数量达到了1.5亿的新纪录。高德一直不断地探索和应用新的技术,以持续提升用户体验、提高效率和降低成本。首先是北斗高精度定位。作为一家科技企业,高德有幸见证了北斗从起步到世界一流的发展历程。尤其是2020年的北斗三号全球组网成功,客观上帮助我们在产品研发上迅速打开了新局面,车道级导航、智能红绿灯、绿色出行和位置共享报平安等一系列基于北斗高精尖技术的服务得以在手机上落地,并获得了行业内外的好评。如今,高德地图调用北斗卫星日定位量已超过3000亿次,且在定位时北斗的调用率已超越了GPS等其他卫星导航系统。互联网地图用户高并发访问和随之而来的海量数据存储处理,是我们必须应对的技术难题。其中,云原生和行业无关化架构是高德地图服务端未来的努力方向。云原生是一个新的软件架构模式,它将应用程序和系统环境抽象化,并将它们封装到容器中,以实现快速、可靠和可扩展的部署和管理;云原生是未来软件架构的发展趋势,它的本质是更高维度的抽象、封装和屏蔽,高德地图服务端会聚焦于把云原生相关技术用到日常应用研发,以提高生产力,快速迭代产品,跟业务一起给用户最好的体验。行业无关化架构是针对高德应用的特点提出的,核心是解决研发效率的问题,业务上让更多的行业快速接入高德,技术上尝试元数据驱动+多租户隔离,屏蔽行业变化对底层的影响,做到行业无关化架构,以进一步提高生产力。随着“高德地图”成为用户出行必备工具之一,其中数据的存储、加密、快速检索和绝对安全就非常重要,是我们工作的重点,目的是让用户在任何时刻、不同的端设备上都能快速的获得自己想要的真实世界的信息,让用户出行更美好。随着业务后续发展很快就会进入万亿时代,无论是存储成本,还是针对数据查询的性能来讲,数据治理对我们来说显得尤其重要,我们要让数据快速发挥出价值,带给用户最真实最实时的数据,还不会过度的浪费成本。OceanBase是由蚂蚁集团完全自主研发的国产原生分布式数据库,始创于2010年。OceanBase已连续10年稳定支撑双11,创新推出“三地五中心”城市级容灾新标准,在被誉为“数据库世界杯”的TPC-C和TPC-H测试上都刷新过世界纪录。自研一体化架构,兼顾分布式架构的扩展性与集中式架构的性能优势,用一套引擎同时支持OLTP和OLAP的混合负载,具备数据强一致、高扩展、高可用、高性价比、高度兼容Oracle/MySQL、稳定可靠等特征,不断用技术降低企业使用数据库的门槛。经过长时间的调研和测试对比,我们决定采用性价比最佳的OceanBase来迎接高德万亿(条)数据时代!读者收益正因为真实世界的数据存储量大,高德采用的OceanBase来解决,此篇文章会让大家看到OceanBase在高德的实践体会,我们会从不同的视角去诠释整篇文章。整体如下:服务端的视角1)我们为什么选择OceanBase?2)OceanBase在高德落地过程中分应用的融合方案、痛点和收益?3)OceanBase在高德应用中未来的规划?读者的视角1)高德为什么选择OceanBase,背后选择的原因是什么?2)高德怎么用OceanBase的,方案是什么,遇到了哪些问题,解决方案是什么?3)OceanBase在高德应用场景中,表现结果怎么样,稳定性和性能怎么样,降本效果怎么样?4)结合我们自己的场景哪些可以用OceanBase帮我们解题?以下用OB代替“OceanBase”,整篇文章也会围绕几点来贯彻核心思想:1)了解选择OceanBase的原因,了解OB的落地实践2)了解分布式数据库和OB相关技术内幕3)作为工具文章,在犹豫是否选择OB的时候会给大家一些思路1.为什么选择OB阿里云提供的数据存储产品有很多,