超融合在银行分布式和云化改造中适用于什么场景?
近几年,我国大力推进科技创新,云计算、大数据、人工智能与我们日常工作越来越近。私有云技术正是针对业务快速发展迭代的解决之道,银行业正根据自身的业务特点进行架构转型,传统的部署方式正逐渐被云计算所替代,同时分布式存储资源依靠其得天独厚的价格优势冲击着传统的集中式存储。
目前,超融合作为新一代分布式架构,与传统的虚拟化、云计算相比,有哪些优势?未来的发展方向如何?对于像“核心交易、支撑管理、互联网金融、大数据分析”等重要业务,哪些业务场景更加适合使用?我们选择超融合产品时又应该注意哪些?为解答以上疑问,TWT 社区特邀请来自金融行业的超融合技术专家,以及SmartX技术专家。基于诸多银行IT基础架构基于超融合进行分布式和云化改造适用场景及实战进行探讨。以下是交流中的精彩分享,整理于此供更多金融同行参考。整理人:wangtao2015 农商银行技术经理
@wangtao2015 某农商银行 技术经理:
互联网业务比较看重高并发性能和弹性扩展,这点正好是超融合架构的优势。相对而言传统架构往往会存在无法横向和纵向扩展的问题,在高并发的情况下容易出现性能瓶颈。设计的比较好的超融合架构在互联网业务上应该会有比较大的性能提升。
改造的成本要看原来的架构平台。如果从小机迁移会有一定的改造成本。如果原来已经是x86架构的话,改造成本比较可控。如果已经虚拟化环境的话,用虚拟机迁移工具会比较容易迁移。
@金鑫 SmartX 金融团队解决方案架构师:
我理解您的问题应该是本次分享中的一个场景(某城商行互联网系统基于超融合架构的性能验证),在这个真实场景上,超融合架构在比传统架构物理CPU和内存资源配置低的条件下,以相同的基准性能测试,超融合架构提升了30%的数据库TPS,减少了27%响应时间,当然在不同的场景和不同的资源配置下,性能指标会有不同,这个案例非常具有参考意义,超融合架构自身的IO路径优化,高性能缓存等技术是用于保障高性能场景的重要技术支撑。关
于改造成本评估,通过几个维度我进行说明,首先是初始的设备采购,很多时候传统架构都是先把3年的资源一次买到位,而超融合是采用小步快跑的方法,根据需求弹性扩容,其次是买多少,相比传统架构(服务器、虚拟化软件、集中存储、网络设备都需要独立进行采购),而超融合一体机更加简单,以节点为单位,综合成本性价比更有优势,最后就是人员成本,超融合架构可以简化IT日常运维复杂度,从而减少和运维人员的工作压力,提高效率,释放更多的生产力。
2、请问我们到底是选择上私有云还是选择上超融合?
【问题描述】私有云的方案如Zstack等也有精简版本,运维管理也比较容易,甚至也会提供SDS,请问什么情况下选择超融合更合适?
@rxj 天津银行 运维经理:
根据您的问题,首先我先解释一下概念,私有云与超融合并不是等价关系,在某种意义上,私有云是包括超融合架构的,也就是说,超融合架构可以用来提供私有云底层的资源池,通常虚拟化是私有云的基础,而虚拟化又离不开数据存储,超融合架构的特点是将传统虚拟化架构的(主机和存储)融合在一个设备内,利用分布式技术提供整体架构的可靠性和可用性。而私有云 CMP (云管理平台)用于在上层视角自动化管理、智能调度底层资源,按需交付和资源使用计量。
关于SDS与超融合的区别,最主要的不同就是存算之间的关系,SDS 是与计算分离的,部署的形态与传统架构虚拟化+集群存储非常相似,不同是SDS(软件定义存储)是分布式存储技术,利用通用的x86服务器。而超融合是将计算与存储进行融合的一种架构,同样也是采用分布式存储,但增加节点,集群的计算和存储性能都会线性增加。
超融合架构稳定可靠、简单灵活、性能高、易维护等特点,是非常适合虚拟化场景(服务器虚拟化、桌面虚拟化)使用,对于您的问题“什么时候选择超融合更合适”,有几种场景我个人认为是比较合适的,例如:物理服务器向虚拟化迁移、私有云建设场景、传统虚拟化架构向敏捷弹性架构演进等。
3、根据合规要求目前银行进行超融合改造适用哪些业务场景?所用技术手段有哪些区别?
【问题描述】银行进行目前超融合改造用哪些技术:Ceph 、Swift、ClusterFS 、GPFS等?这些技术之间的优势和劣势各有哪些?2、目前银行超融合云化改造适用哪些业务场景?根据银保监会合规要求, 核心生产还是非核心?
@黄云轩 SmartX超融合 系统工程师:
Ceph 、Swift、ClusterFS 、GPFS都是不同的存储解决方案,存储的对象类型包括应用场景各不相同。
Ceph是基于RADOS的对象存储系统,使用一系列API将数据以块(block)、文件(file)和对象(object)的形式展现。Ceph适合非结构化数据存储,其对象存储特性适合云计算环境实时访问的虚拟机镜像和虚拟机磁盘。
Gluster适合结构化数据,采用传统的树形文件系统,适合海量大文件存储以及流式数据顺序读写,适合近线存储、数据归档环境。
Swift提供的同样是分布式体系结构的对象存储,它是基于云原生的,访问方式是通过Restful API,应用系统可以直接绕开操作系统直接访问。相较而言ceph更加开放,可以提供多种的数据访问方式。
Ceph采用强一致性设计,Swift数据是最终一致的,同步一致数据需要时间。所以在设计和使用的场景根本上是有区别的。
GPFS是IBM开发的高性能共享文件系统。可以允许集群中所有的节点访问同一文件的数据。由于Ceph基本上已经成为了Openstack的标配,同时可以提供对象存储、块设备存储和文件系统存储服务,所以应用场景最多。
银行的业务系统IT解决方案目前主要分为业务类、渠道类、管理类以及其他。从业务承载的角度来看,后三类在超融合环境中完全是可以满足的。至于业务类系统中哪些能够承载则需要换一个角度来看,比方说应用系统本身是否有进行过改造,是否已经从小机下移至X86服务器上,是否有做过服务的拆分,是否能够部署在虚拟化环境中。如果应用系统能够部署在虚拟化环境中,那么在超融合环境中完全也是完全可以适用的。
4、基于超融合构建开发测试桌面虚拟化平台能否满足业务系统的高IO需求?
@wangtao2015 某农商银行 技术经理:
超融合架构的一个典型应用场景就是桌面虚拟化。一般配置超融合架构硬件的时候会配置一定比例的固态硬盘,加速IO性能,达到比较高的IOPS。
@孙振正 SmartX 金融团队技术总监:
VDI场景是特别适合通过超融合架构承载的,尤其是利用分布式存储的高性能,提供更好的桌面体验方面。超融合每个节点相当于一个传统存储控制器的机头,节点越多,超融合集群的IO性能优势越明显。
SmartX 银行用户在 VDI 场景下,部署的超融合节点规模已超过 50 个,支撑桌面接近2000 个,凭借出色的存储性能,有效解决了启动风暴的问题,为客户提供极致的桌面体验。
某银行用户验收测试中,20 个节点可以提供高达 80 万 IOPS,100 桌面从批量创建到启动完毕小于 30 分钟,应用启动小于 2 秒。
5、基于超融合支撑生产系统及容灾备份较传统架构有哪些优势?
@wangtao2015 某农商银行 技术经理:
传统架构做容灾一般先要解决数据复制问题,其次解决主机切换问题。
数据复制一般采用存储级复制或者数据库级复制技术。主机切换需要主机层的双机软件来完成。整个容灾方案比较复杂,需要配合的操作较多,一般需要自动化运维来实现一键切换。
超融合平台一般采用虚拟化技术,小规模的数据库系统可以直接部署到超融合平台上,一般超融合平台整体解决方案会包含SDS集群间的数据复制,以及虚拟化集群中主机的迁移,因此容灾方面相对简单一些。
@hanaynxin 中银富登村镇银行 基础架构运维主管:
超融合相较传统架构的优势主要体现在如下方面:
1. 架构简单,部署快速,缩短业务所需IT基础设施资源的供给周期,也可以大大减轻在容灾环境下的运维压力,超融合架构改变了传统服务器、存储、网络相互孤立的基础架构,将计算资源、存储资源和网络资源进行统一融合,每个超融合架构的节点同时提供计算资源和储存空间,相当于传统服务器 + SAN 交换机 + 储存设备。
2. 横向扩展,弹性敏捷,灵活应对零售业务场景下突发的高并发访问需求。超融合架构给虚拟化环境带来的重要差异化因素之一就是传统基础设施在进行计算资源扩展时其存储性能仍然保持不变。而在超融合架构中,在每个物理节点本地都运行着一个存储控制器服务,负责本地所有虚拟机的 IO 操作。当集群扩展时,新增加节点的同时也新增了控制器节点,保证了整个集群性能的横向扩展,有效解决IAAS层资源池化问题的基础上,能够更加灵活应对零售业务场景下突发的高并发访问需求。
3. 开放架构,易于整合,模块般嵌入现有IT环境,实现架构松耦合,在硬件层面,在同一集群内或不同集群间超融合架构支持部署不同品牌主流 x86 服务器,构建异构的基础架构环境;在网络层面,超融合架构无需依赖任何支持特定协议的网络设备,支持与现有以太网设备组网连接,超融合架构能够为上层应用屏蔽底层复杂和异构的基础架构,对主流硬件设备进行兼容性适配集成;在管理平面上,通过开放的Restful API与CMP,变更管理平台等IT服务管理相关平台对接方面,模块般嵌入现有IT环境,与已有的传统IT基础架构并存,对传统架构改造小,可以相对平滑地纳入现有IT管理流程。
4. 数据安全可靠,多层次的数据保护机制为业务连续性保驾护航。超融合架构采用集群的部署和管理方式,利用数据多副本机制实现数据分散存放,不同数据副本存放在不同的超融合节点上,当一个节点出现故障时,或磁盘故障,仍然可以依靠其他节点上的数据副本继续对外提供服务,配合机箱/机架感知,可以有效保证一个数据中心内部的数据安全,此外,结合同步复制和异步复制等功能,也能实现符合监管的两地三中心解决方案,有效保障业务连续性。
5. 计算与存储深度融合,性能出色,有效满足小型机重要应用下迁X86架构后的高性能需求。节点部署高性能闪存盘 SSD 和大容量机械磁盘 HDD(存储分层),来应对系统高 IO 需求和大容量存储需要。利用 IO 本地化技术(IO 路径优化),超融合架构能够实现高速访问本地数据,而无需跨网络访问。条带化功能可以实现顺序写带宽性能提升,如数据从缓存层 SSD 下刷至容量层 HDD,此外NVME SSD + 25 Gb的网络以及持久化内存等高速介质的使用,可以提供越来越高的性能体验,有效满足小型机重要应用下迁X86架构后的性能需求。此外,超融合中的分布式存储也可以为容器提供持久化存储,灵活扩展的分布式架构,可以更高效解决无状态应用向有状态应用的过度。
6. 节省空间,易于管理,降低运维复杂度和整体TCO。超融合可以有效降低机房空间的占用,同时,通过单一平台可以实现对虚拟化和存储全生命周期管理,降低运维难度,使 IT 日常运维变得轻松而简单(传统架构需要使用不同的管理工具实现对虚拟化和存储的管理工作)。
6、超融合目前对于容灾的技术方案是如何实现的?
【问题描述】请问超融合的容灾技术方案是如何实现??传统方式有基于存储的数据复制,也有数据库的复制,那么超融合的容灾技术方案如何?对于同步,异步方式,RPO RTO,参数支持的如何?
@wangtao2015 某农商银行 技术经理:
超融合架构的容灾技术一般是通过SDS存储层的数据复制来实现的。
相对于传统架构的可选的容灾技术,超融合平台也可以采用同样的容灾技术,比如用超融合平台的sds存储复制,也可以沿用数据库层的adg,hadr等数据复制技术。具体的RTO,RPO指标要看具体的实现方式。
@金鑫 SmartX 金融团队解决方案架构师:
SmartX超融合产品自身支持两种容灾技术,1)双活数据中心(拉伸集群),数据实时同步,需要满足网络带宽和延时要求,数据采用3副本,在主站点(优先可用域)存放2个副本,次集可用域存放1个副本,如出现站点故障,业务可直接进行站点切换,这个模式RPO为0。2)异步集群备份,将数据定时向备份集群执行备份任务(通过快照技术实现),首次数据全量同步,后续采用差量数据同步实现,此模式RPO为1小时。
7、开发测试环境更重视性价比,超融合技术是否适用于开发测试环境?
@金鑫 SmartX 金融团队解决方案架构师:
对于开发测试环境,超融合是非常适合的,超融合具备部署灵活,可以根据需求灵活进行集群伸缩,架构简单,降低运维管理的复杂度,同时具备高性能,可以满足开发测试不同纬度的需求。
关于性价比,通过几个纬度我进行说明,首先是初始的设备采购,很多时候传统架构都是先把 3 年的资源一次买到位,而超融合是采用小步快跑的方法,根据需求弹性扩容,其次是买多少,相比传统架构(服务器、虚拟化软件、集中存储、网络设备都需要独立进行采购),而超融合一体机更加简单,以节点为单位,综合成本性价比更有优势,最后就是人员成本,超融合架构可以简化 IT 日常运维复杂度,从而减少和运维人员的工作压力,释放更多的生产力。
@wangtao2015 某农商银行 技术经理:
经过对比,超融合环境成本比传统架构节省,尤其是采用部分开源技术产品之后。在超融合架构平台上部署虚拟化资源池,更加适合开发测试环境。
8、银行超融合改造的主要难点及风险点?
【问题描述】1)银行超融合改造的主要难点是什么?2)传统都是SAN FC架构改造为超融合后,不使用专门的独立存储,而将计算和存储合并到计算资源服务器上,这样是否将计算和存储的故障点合并,如何规避计算和存储合并后的风险?
@wangtao2015 某农商银行 技术经理:
1. 超融合改造如果从传统架构迁移,它很可能会跨越不同的主机平台,不同的操作系统,主机访问存储的路径都会改变,通常应用系统需要改造甚至重构,这往往是最困难的,很多情况下会选择放弃。如果从虚拟化平台迁移相对容易一点。
2. 传统SAN架构改为超融合后,风险点会从原来的HBA卡、光纤、光交、存储等转移到虚拟化平台和分布式存储上,故障点减少了。规避风险的方法一般是做好备份,条件许可的情况下可能另外搭一套容灾集群。
@rxj 天津银行 运维经理:
超融合天然适用于虚拟化场景,在银行业,使用虚拟化的场景都可以用超融合来支撑。银行从传统存储到超融合改造的难点主要在于对超融合这种新架构的学习和了解,改造后,超融合是可以为银行节省运维成本的。
超融合本身是兼具了计算、存储、网络、甚至是容灾和备份等等技术,构建一站式、精简的 IT 基础架构。现实中,高度集成,简单易用的产品在大多数领域都是一个趋势;例如,10 年前,我们去旅行要带手机、数码相机、钱包这些物品,但今天我们只需要带一个智能手机就可以代替这些物品,而且它可以不断通过更新,获得新的功能,这个是高度集成,软件定义带来的便利。有服务器需要下线维护的时候,在传统架构中只需要考虑损失了多少计算资源来评估影响,在超融合架构中,对一个节点下线意味着计算资源和存储资源同时有一部分损失,我们在设计高可用的时候就要求将这些因素统一考虑,才能真正获得超融合架构带来的高可用、灵活、高性能等的优势。这都需要用户在思想上做调整,以超融合的新思路规避所谓的新风险。
9、SmartX的稳定性究竟如何?在金融行业一般应用于什么环境?
【问题描述】SmartX的稳定性究竟如何?不知道有没有具体的数据案例来说话。在金融行业一般应用于什么环境?担心遇到性能问题。
@金鑫 SmartX 金融团队解决方案架构师:
Smartx 超融合架构目前在金融行业的生产环境、开发测试和容灾备份场景都有很多的部署运行案例,涉及银行、保险、证券、基金、期货、信托等金融细分领域,可以说金融行业是对系统稳定性和可靠性要求最为苛刻的行业之一,列举部分案例(交通银行总行数据、泰康保险、国泰君安证券、中信建投证券、东方证券、招商证券、国金证券、东兴证券等客户在生产、开发测试场景落地案例),绝大部分客户在前期接触超融合架构时,都会有性能方面的考虑,所以也都会对超融合架构与传统架构进行性能对比测试,以打消顾虑,在本次的分享中,有大量关于性能测试的数据,这些数据均来自客户的真实场景,可以参考。
原题:银行IT基础架构基于超融合进行分布式和云化改造适用场景交流探讨如有任何问题,可点击文末阅读原文,到社区原文下评论交流 觉得本文有用,请转发或点击“在看”,让更多同行看到
资料/文章推荐:
银行IT基础架构基于超融合进行分布式和云化改造场景实践分享
https://www.talkwithtrend.com/Document/detail/tid/436601
银行IT基础架构分布式和云化改造技术路线评估在线研讨
https://www.talkwithtrend.com/Document/detail/tid/436159
欢迎关注社区 "超融合"技术主题 ,将会不断更新优质资料、文章。地址:
https://www.talkwithtrend.com/Topic/39775
下载 twt 社区客户端 APP
长按识别二维码即可下载
或到应用商店搜索“twt”
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点,不代表社区立场