在线交流 | 银行业分布式存储架构设计与实施运维难点
随着互联网数据规模越来越大,并发请求越来越高,传统的关系数据库系统在性能、价格、可扩展性方面已经不能很好地满足需求。谷歌、亚马逊等互联网公司率先在后台基础设施中引入超大规模分布式存储系统,用来解决海量数据的存储问题。与传统的集中式存储技术不同,分布式存储没有将数据存储在某个或特定节点上,而是通过网络将各个节点分散的存储资源汇聚成一个虚拟的存储设备,将数据分散在各处。相较于集中存储,分布式存储成本地,扩展性好,弱化了关系型数据模型,可以得到高并发和高性能。
金融业务与服务,利用信息化技术持续改进与发展,已有近30年的历程,这一发展过程的各个阶段,既有改善了金融服务,促进实体经济发展的收益性结果,也有因各类未知问题造成的事件与影响等经验教训,因此,金融业务发展与信息技术的改进优化,是一个互相促进、迭代发展的过程。随着银行业务数据字化水平的提高,配套技术的基础建设和实际运维过程也提上了日程。如何发挥分布式存储优点,实现线上化的数字资产交易与服务业务,都是许多银行企业在技术发展重定位中思考的问题之一。
由于业务场景需要不同,很多银行业务需要以HDFS、TFS和Lustre为代表的分布式文件系统,部分业务会运用到以Dynamo为代表的分布式键值系统和以Bigtable为代表的分布式表格系统,最后是以MongoDB为代表的分布式数据库。如何为不同业务需求和使用场景恰如其分的规划与选型?在面对国产化安全可靠性前提的前提下,如何保障分布式存储的稳定运行和快速高效的运维管理?分布式存储系统如何利用自身特性实现建容灾环境搭建与业务的快速切换?数据安全与备份管理是否可以即敏捷又安全的进行规范部署?这些都是银行也必须要面对的实际问题。
在这次交流中,我们将会对银行业诸如此类的常见问题,进行专家问诊与交流讨论:
(1)金融行业如何针对结构化与非结构化数据,进行分布式存储的选型?尤其像客服中心语音数据与信贷类交易系统的影像文件等非结构化数据,如何既经济又安全地选择市场上高口碑和好评的分布式存储进行对接?
(2)集中式存储向分布式存储的转型,有哪些技术难点和运维管理困难?转型前期、中期和后期都有哪些注意的要点,对于渠道类、账务类和数据报送类业务,如何合理、分批次进行转型?
(3)从运维的角度看,分布式存储设计时要考虑哪些方面?运维管理中的监控告警、备份恢复与异地容灾等应该如何规划?
本次线上同行交流,欢迎大家提出目前遇到的各种关于分布式存储设计和实施运维的难题,与专家及同行进行线上的探讨!
欢迎大家参与交流,现在 点击阅读原文 ,即可参与
↓↓↓