其他
从1天→10分钟,华为云DRS在背后做了这些
数字化时代下,企业IT的数据重心从支持在线交易后移到运营分析,数据的及时更新、高效分析、减少人工干预,是企业经营的追求目标。因此企业不再满足于“T+1”,而是“T+0”,需要实时和个性化,对于汽车行业也不例外。
实时数据更新
才能具备更快的市场反应能力
一汽-大众4S门店的BI报表业务需要实时汇集所有门店的数据,面临巨大的技术挑战:60+MySQL实例,200+数据库,共3万张表需要数据实时同步到BI系统内。
如果按照传统的数据入湖方式,需要配置3万条数据同步链路,以及海量的工作比对数据一致性,维护成本极高,同步效率低下。此外,随着数据量的膨胀,现有的数据库无法支撑数TB级别的数据量。
抽取数据对源数据库影响最小化:抽取数据不能拖垮源数据库,也不能对源业务的性能造成较大的衰减,甚至表被锁定; 部署实施要轻量简单:不需要在每个数据源安装代理程序,即开即用,配置操作简单易用; 数据一致性有保障:基于binlog解析进行逻辑数据同步,具有断点续传和严格的认点技术,有效确保数据一致性。
助力报表系统数据实时同步
全面释放数据价值
增加数据来源列,解决主键冲突:通过MySQL到GaussDB(for MySQL)的多对一方案,增加数据来源列,记录server/database/table信息,避免多个源表主键冲突; 同步链路支持动态加减表:新增业务随时需要增加同步的表,华为云DRS支持GaussDB(for MySQL)的链路动态增减表,配置更加简单方便; 标记数据入湖时间,帮助实时分析:增加附加列数据行写入时间和更新时间的列,标记数据插入和更新时间,为数据入湖及数据实时分析打下基础; 引入缓冲数据库,实时计算:针对1.8万张表不停的汇集和写入,选择了百万级QPS吞吐量和海量数据存储能力的GaussDB(for MySQL)作为缓冲层数据库,解决OLTP和OLAP数据库之间天然的数据处理能力差异。基于DRS实时准确的数据同步后,华为云GaussDB(DWS)实现实时计算,极大缩短复杂报表的执行时间; 数据实时精准同步:基于华为云DRS准确的数据同步能力,正常情况下延迟均在1s以内,为实时报表提供基础条件,且数据同步准确度高,源端和目标端数据行数一致。
业务上线后,一汽-大众业务报表系统维护的链路数量从3万条降低至65条,工作效率大幅提升;同时10亿级数据无一条丢失,极大降低数据比对工作;帮助一汽-大众实现了销售报表数据可用时间从1天降低为10分钟,时效性大幅提升。