积极拥抱互联网化 北京电信核心数据库完成跨平台迁移
“变化,无论是突如其来的,还是循序渐进的,有时都会淘汰你认为理所当然的一切。忽略这一现实,就像近年来许多领导者那样会带来毁灭性的后果。”商业大师拉里·博西迪在他的畅销书《转型》中曾写下的这段话,如今看来依然经典。唯一不变的就是变化,传统行业面对互联网、数字化的冲击,必须积极需求转型来应对变革。
对于电信行业尤为如此。在国家政策变化、新业态冲击以及用户饱和等内外部众多因素的影响下,三大运营商的增长放缓甚至下滑已经成为常态。而反映到运营商的IT部门,这就意味着大手大脚花钱的“好日子”已经一去不复返了。如何花更少的钱支撑更多的用户需求与数据量?这是摆在电信人面前的一道难题。
“互联网化(以更低的成本以及可线性扩展的云化新架构来满足日益增长的业务需求),是公司管理层面提出的新要求。”在接受记者采访时,北京电信运维主管隋毅如是说。
过去几年“IOE”对于电信来说几乎是标配,小型机加高端存储再配以Oracle数据库的组合能够带来足够的稳定性,但后续扩展与维护的成本不菲,而且这种架构在支撑互联网业务时也已“疲态尽显”。隋毅对此颇有感触。
“我们的计费域和经分域核心系统都是基于传统的IOE架构建设的,最近几年发生过几次现网计费ABM系统在业务高峰时期的大交易量导致系统压力过大、差点导致业务无法办理的情况。这也是我们这次下决心对系统进行改造的主要原因。”隋毅说。
隋毅告诉记者,北京电信帐务、计费和数据仓库(ODS)都是北京电信的核心IT支撑系统。其中,帐务系统主要实现了帐务管理、客户业务明细办理、业务明细查询等重要业务功能,同时也为其他重要系统,包括计费销账、10000号客户服务等系统提供重要接口。而ODS系统作为经分系统的核心,主要承担历史数据存储、查询和经营分析等功能。这两个系统对业务运行的性能与安全稳定有着非常高的要求,同时它们对于整个计费和经分系统的正常运行起着不可或缺的作用。
将支撑业务运营的核心数据库从IBM小型机迁移至X86架构并通过ADG方式实现部分业务读写分离,同时由闪存替代原有的EMC存储,对于采用这样的全新架构,并在极短的时间完成跨平台迁移,北京电信还是第一次尝试。因此,隋毅也提出了几点顾虑:
首先,迁移后计费库、账务库由原来的两套RAC集群(4台IBM小型机)变为同一套OracleRAC集群支撑两套核心库运行(两台PC服务器),ODS库则从基于IBM小型机的RAC变为基于PC服务器的RAC,新的平台与硬件环境,其整体性能以及稳定性能否保证?其次,计费库、账务库达到5TB,ODS的数据量超过10TB,跨平台的迁移是否能在一夜甚至4个小时之内顺利完成?
跨平台(AIX to Linux)的海量数据迁移,对于任何一家企业来说都不是件容易的事,而选择合适的方法至关重要。在经过了一系列交流与论证之后,北京电信决定采用“XTTS”(跨平台表空间传输)的方法来实施最终的迁移,并选择了云和恩墨作为本项目的实施方。
云和恩墨CTO,Oracle ACE总监杨廷琨向记者介绍,传统的OGG同步方式并不适用于超大数据规模的数据库迁移工作。因为跨平台的数据迁移涉及到字节序的转换,无法采用物理同步的方式进行数据初始化,只能采用逻辑同步(导出导入)的方式完成初始化,然而这种处理方式,又会带来长时间的停机、复杂的操作和大量测试、数据比对的工作,耗费大量的人力、物力,出错率极高。因此,只有借助XTTS这种兼有物理和逻辑同步优势的技术,才能完美的实现目标数据库的迁移目标和要求,这种技术能够最大程度的降低业务停机时间,同时由于具备物理同步的特性,在同步完成之后也不再需要繁琐的数据比对校验,能够确保数据的一致性。
而在谈到为何选择云和恩墨时,隋毅表示:“在帮助运营商进行系统升级改造方面,云和恩墨拥有非常丰富的经验。他们曾协助四川电信等多家客户成功实施了核心数据库的XTTS跨平台迁移工作,并且取得了很好的效果。同时,云和恩墨拥有业内最顶尖的数据库专业服务技术团队,几乎囊括了国内IT服务商中所有的OracleACE总监和大部分Oracle ACE专家,这让我们对项目成功实施充满信心、也是我们最终选择云和恩墨的根本原因。”
在整个项目中,云和恩墨技术团队从前期可行性研究、整体架构规划、迁移方案设计与测试、正式实施及后期系统稳定性保障,提供了一站式全流程的去IE、升级迁移服务,同时配备顶级的专家服务严控技术专业度与项目质量,确保这些核心系统数据库跨平台迁移的万无一失。
杨廷琨介绍,云和恩墨团队在项目实施过程中从x86服务器性能与稳定性、存储IO性能、真实应用压力测试、XTTS迁移方案等多方面进行了全方位的可行性验证,最终通过Oracle XTTS结合增量备份的方案完成了所有核心库升级迁移。
事实证明,北京电信的选择是正确的。在云和恩墨技术团队和北京电信的共同努力下,单套5TB级数据库在不到3小时的停机时间就完成了从小型机到x86环境的迁移。同时,为确保数据库的高可用性、数据保护及灾难时可恢复,云和恩墨还通过ActiveDataguard(ADG)构建了生产数据库的数据级容灾环境,并借助ADG提供了客户应用的读写分离,更为高效的支撑业务整体运行。
迁移实施已经过去了数月,在新的环境下,北京电信计费库及账务库的整体运行稳定,通过高配置PC服务器+部分应用读写分离,业务高峰时段承载两套核心库的主生产系统整体运行稳定,平均CPU使用率10%左右,系统整体吞吐量得到了明显的提升。
对这一结果,隋毅表示非常满意:“感谢云和恩墨团队在本次数据库迁移项目中的辛勤付出。通过本次项目,我们成功实践了互联网化去‘I、E’的要求。在支撑新业务方面,系统的性能提升效果非常令人满意,同时进一步节约了运维成本,为我们今后互联网化工程项目陆续落地打下了坚实的基础。”
杨廷琨表示:“当北京电信面临架构扩展性问题和大数据量跨平台迁移等难题时,云和恩墨团队充分发挥技术优势,经过充分的论证和测试,选择了技术实现难度最大,但停机时间最短、对客户业务影响最小的技术方案。在正式迁移过程中,仅停机3个小时就帮助客户完成超过5T数据量的U2L迁移。单纯讨论技术的专业性和领先性意义不大,只有能够帮助客户取得成功的技术才是有意义的。‘数据驱动,成就未来’是云和恩墨的服务理念,而通过这次迁移项目,也非常好地诠释了我们的这一理念。”
数据驱动,成就未来。
整合业界顶尖的技术与合作伙伴资源,围绕数据及相关领域,提供解决方案和专业服务。
资源下载
专业服务:中间件 | 数据建模与模型优化 | SQL审核与优化
支撑软件:应用开发质量管控平台
业务架构
数据治理 | 电子商务用户行业分析 | 数据资产运营
恩墨学院