中通快运:数据驱动业务、管理和商业模式深度重构融合的探索
*本文根据中通快运信息中心副总监张贤孝在「StarRocks Summit 2023」上演讲整理,感兴趣可前往峰会官网,查看直播回放。
前言
在数字化的过程中,中通快运随着业务的发展也进行了一系列数据架构上的实践,同时也将过程中的思考整理出来分享给大家。
传统数据架构遇挑战,
业务用数难、IT 响应难
与互联网和科技公司不同,身为传统企业,中通快运在初期搭建数据架构时,主要是为了解决运营操作的问题,忽略了数据对于业务决策的重要性。因此,在业务系统开发过程中,对数据架构的规范和部署不够重视,这也是许多传统物流公司面临的问题。
物流企业偏传统企业,大多数软件是流程管理软件。在开发运输管理系统时,需要完成发车控制、货物卸载、装载和分拣等操作,并生成庞大的行为数据。开发时会出现行为数据和业务数据杂糅、无法分离的问题,导致无法扩容和升级。
随着业务数据库的增大,我们需要进行纵向升级来逐渐提升数据库的能力。然而,这种纵向升级导致了数据层面的单点故障,因为数据同步造成的性能消耗超过了额外机器的收益,导致无法继续升级。
由于每天产生数据量极大,所以数据在存储时只能保存三个月甚至更短的时间。这种数据备份的方式,导致业务人员无法利用历史数据进行分析,发挥其价值。
物流行业的业务正在快速变化,需要快速响应不同的运营模式,但当前每个系统都是独立开发的,没有考虑模块化组装的方式来提高开发效率和对外部需求的响应速度。
锚定“数据赋能业务”
中通快运推动架构进化
数据赋能业务是个脱胎换骨洗筋伐髓的过程,业务需求驱动数据准备、推动业务运作流程的演、驱动业务软件架构面向数据的标准化治理,这是一个螺旋上升的过程。
我们开始重新梳理和规划数据架构,结合业务和数据两部分思考,确定了通过数据赋能业务,实现数据服务业务流程、驱动业务决策的核心目标,并开始针对这一目标进行实践。
1. 重新定位数据部门价值,推动业务流程变革
当意识到传统的数据架构可能存在问题,中通快运 IT 团队开始推动集团高层,将数据部门定位为业务赋能的核心,重新定位数据部门的价值,将其纳入战略规划中,推动业务流程的变革。同时,与业务部门紧密合作,理解业务需求,提供相应的数据服务和解决方案,实现数据驱动的业务决策和优化。
2. 数据服务治理,基于 StarRocks 建设高效驱动业务的数据中心
服务治理是指在业务架构中面向数据进行设计,确保数据采集和建立数据之间的关系。中通快运将数据作为业务架构设计的核心,建立数据之间的关系和流程,将操作和分析两种业务进行解耦,提供灵活的数据存储和访问方式。
中通快运采用了 Paimon 和 StarRocks 来构建批流一体的数据基础,提供不同的对外服务标准。
首先是实时响应,所有数据都通过实时采集传输过来。由于传统企业的业务操作可能不是完全静态的,可能存在行为逆转的情况,因此在实时操作过程中需要落表,我们使用了 tiDB 作为实时存储库。
而 StarRocks 承担着核心的 OLAP 能力。对于实时性的数据需求,通过 StarRocks 实时链路完成秒级响应(约为 10 秒)。对于历史数据的大规模对比和复杂查询,通过 StarRocks 进行存算分离,直接读取和查询 Paimon 的数据,以实现快速响应,将业务端发生的数据传输到服务端的响应时间优化到 2-3 分钟。
多重价值落地,
实现数据服务业务、驱动业务
通过混合数据业务的分离,中通快运可以更好地管理和扩展数据资源。这使得企业能够更有效地利用数据进行决策和优化业务流程。数据分离和扩容的能力提升还可以为中通快运提供更好的数据管理和资源分配,以满足不断增长的业务需求。
2. 提高业务运营效率,实现数据驱动业务
通过架构升级,中通快运可以进行深入的数据分析和挖掘,从历史数据中发现潜在的业务洞察和趋势,从而帮助业务人员做出更明智的决策,并优化业务流程,提高效率和竞争力。
3. 敏捷的开发,快速响应业务需求
通过采用模块化和组装化的开发方式,中通快运可以更快速地响应业务变化,能够更灵活地开发和部署新的功能和服务,以满足不断变化的业务需求。
结语
数据部门不仅仅是传统支撑部门,也要承载了企业发展过程中业务、管理和商业模式的深度重构与融合的使命,一路走来,感谢 StarRocks 给予的支持。
未来,也希望进一步探索 StarRocks 资源隔离和物化视图能力,为企业提供更强有力的数据分析解决方案,赋能业务更好的决策和进一步升级。
1.直播回放。若对本场演讲感兴趣,可点击前往峰会官网,查看直播回放。