查看原文
其他

让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”

数据安全迁移的 金仓数据库
2024-11-12

数据库国产化迁移,
如何确认全库迁移数据是否一致?
TB级数据,
怎么才能快速逐条校验?
单表巨大,
数据校验无从下手?

项目背景

某财务系统数据库服务采用2节点的Oracle RAC实例,现需要进行国产化改造,将数据迁移到4节点部署的一主三备KES高可用集群中。



全库数据量级高达TB级。财务系统数据至关重要,且停机窗口时间有限,客户要求在数据迁移后的10小时内完成数据一致性确认。面对繁杂的数据类型,如此大的数据量,而且数据一致性校验又是对全库数据内容的逐条校验,对常规的校验工具来说,几乎是不可能的任务。


而事实也证明了本次任务难度:项目验证阶段,现场技术人员小刘采用的校验工具无法按时完成校验任务。

数据库迁移,

如何保障每条数据安全抵达“新家园”,

小刘求助金仓MOSS,

开启“灵魂发问”

.........







嘿~终于等到你,还好我没放弃!

这里是金仓MOSS,关于数据库的问题,我都可以为您解答。


TB级数据迁移后,怎么才能完成数据一致性校验?


经过我的认真思考,推荐使用金仓异构增量数据同步产品KFS,支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据稳定。


您的数据迁移场景具体情况是?


异构数据库迁移,Oracle 12c RAC迁移至KES集群。


全库数据量多大?表的数据库量分布如何?


全库有570+张表,800+分区。全库数据量1TB+,约20亿+条数据,单表最大数据量100G+,7亿条数据。


好的,数据类型包含哪些?


除常见的整型、字符型、日期类型外,还有数据校验比较棘手,会极大拉低校验速度的大对象类型、xml等类型。


请问对数据校验的完成时间是否有要求?


停机窗口时间有限,必须在10小时内完成全库的数据一致性确认。


没问题,后台将根据您的数据校验场景进行模拟验证。


稍等,金仓MOSS从未离开.....


恭喜您。经历测试环境多轮验证,平均耗时7小时16分,完全能满足您的需求。


测试环境验证结果:

第1次:耗时7小时22分

第2次:耗时7小时10分

第3次:耗时7小时17分


面对如此复杂困难的场景,为什么KFS能超出预期完成任务?


KFS能轻松完成任务,离不开大表分片和多表并行校验技术。


  • 大表分片

对于单表大数据量校验的情况,KFS可以根据指定列的数据,将大表数据拆分成多个区间,通过比对各区间的数据,从而覆盖全表数据。



  • 多表并行校验

对于全库数据校验的情况,KFS支持设置并行数,多表并行校验,充分利用硬件资源,提高校验性能,减少校验耗时。




技术可行,但时间紧迫,现场人员的实施工作难度如何?


您是想要官方的回答还是幽默的回答?


想要你的回答。


我的回答是别担心。KFS图形化界面提供了任务创建、校验执行、校验进度监控及结果查看,通过图形界面覆盖了数据校验的全生命流程,易上手,极大降低了使用难度。


最后,祝您好运。


结果如何呢?

国产化迁移如期开始,在数据库迁移完成后,小刘使用KFS图形化管理平台,快速创建和设置数据校验任务,利用KFS大表分片和多表并行校验技术顺利完成全库数据校验,共耗时7小时05分。经过应用验证后,项目圆满上线。


“数据千万条,安全第一条”。数据库国产化迁移中,数据一致性保障非常重要。KFS作为一款面向同城/异地灾备等场景的异构增量数据同步产品,在保证自身数据同步高可用、高可靠、高性能的同时,考虑到用户对数据一致性的强烈需求,为用户提供了数据校验功能,不仅支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据安全。


彩蛋


关于金仓KFS,

有的朋友或许还有疑问,

现在后台留言,

金仓MOSS将继续为您解答哦~


对于金仓KFS的使用体验,

欢迎更多朋友留言,

一旦成为精选评论,

获赞前十名的伙伴,

小编将送上精美礼品,

感谢关注~

供稿:产品研发中心

编辑:王堇

审核:日尧



继续滑动看下一个
金仓数据库
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存