金融企业分布式存储方案设计 | 周末送资料
【作者】陈之琦，毕业于西安交通大学，工学硕士，任职于金融机构，负责创新研究环境的研发和建设。关注于SDS软件定义存储、跨数据中心管理等前沿性技术。
1、项目概述
1.1 项目背景
目前我司所处的金融行业也正处于技术更新换代变革的时代，传统依托于大小机的各种系统逐渐过渡到云端，X86架构逐渐成为趋势与主流，以各大银行为代表的金融行业开始逐渐采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率。
计算、存储与网络之间的协调联动，构建了一个完整的云平台生态环境；传统的集中式存储由于稳定可靠，一度成为金融机构在建设IT系统时候的首要选择。然而，在新时代，新技术以及新需求的背景下，传统SAN在企业基础设施池化、云化中面临了很多问题：
存储资源弹性问题：多业务负载、资源的动态需求变化
存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不同步问题）
形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）
容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨机房），硬盘重建时间长问题
针对上述问题，近些年来新兴的基于X86平台的分布式存储系统满足了业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。
基于X86平台的分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，作为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务。
1.2 项目需求
在大数据时代背景下，金融行业各个企业逐渐地将这些理念融合到自身业务发展之中，并加以创新，期望通过借助大数据的能力，更加深入了解客户，控制风险。金融行业机构继续推进互联网金融战略，探索互联网金融为银行卡数据挖掘、远程开户、虚拟卡发行等业务带来的新机遇，并结合市场需求和新兴技术推出网购一键支付、互联网跨行智能收付平台、云POS等新兴支付服务和产品。
一直以来金融行业机构对于数据中心的核心存储的基本要求却一直很明确：
1、高性能
移动支付业务正走在高速发展的道路上，在过去几年乃至未来几年必定会是产业各方竞争的焦点。从2015年初一直到2016年二季度，据统计全国第三方支付市场规模一直保持着季度间20%以上的增长速度。在具体业务场景中，每秒的交易笔数也在稳步增长，尤其是在某些特定的节假日或者品牌促销日中，会迎来交易业务的高峰。从企业角度衡量，后端交易系统为了保证业务的稳定运行，势必需要对存储系统提出高性能、高带宽的严格要求。
面对超大规模的数据请求和节点数，存储系统应该有能力进行高效的均衡负载，充分发挥空闲节点的资源保障存储服务质量，提高系统的运行效能；并根据存储设备的性能为业务选择合适的存储资源，对业务进行依据服务等级协议（SLA）进行多层次自动负载均衡和调度。
2、高可靠性
对于金融行业机构来说，数据安全永远排在所有需求的首位。金融行业数据中心的存储系统首先应该具备的就是高可靠性。存储系统自身应该具有一定的容灾备份的能力，包括多副本存储、增量备份、实时快照、数据复制、数据迁移以及无条件的数据恢复能力。甚至于随着数据增长，存储规模扩大到一定程度的时候，很难在一个数据中心内进行资源管理，存储系统应该能够提供跨数据中心的数据存储服务，并支持跨域访问、异地容灾备份、异地双活等能力。
新的存储系统的高可靠性同时也应该体现在能够提供租户和业务的隔离，以及以用户为单位、以业务为单位、以存储硬件为单位的数据隔离策略上，通过丰富的管理策略，进一步保证数据安全，为数据中心的长久无错运行保驾护航。
3、扩容方便
面对互联网金融和普惠金融的发展，现有的数据中心无法像以前一样预估资源的消耗，因而，没有办法保证一次性采购足够的存储，从另一个角度来说，预估采购会造成资源的阶段性冗余和浪费。
在存储设备的使用过程中，任何企业不可避免的会遇到调整存储资源池的需求。要求存储资源池根据业务的需求增加或者减少存储设备并且会要求在调整的过程中，尽量减少对业务的影响，即业务不能被中断。因而一个支持平滑扩容，无需中断业务即可无缝扩展的存储架构是现有背景下所急需的。
基于X86的分布式存储系统能够针对业务进行专业化的策略管理的新型存储系统，例如根据业务的变化弹性配额、根据业务量的变化弹性存储性能扩展等；提供对租户和业务的隔离以及以用户为单位、以业务为单位、以存储容器为单位的数据隔离。
4、存储系统的通用性强
系统要支持自动对硬件资源的部署、优化和管理，将各类存储资源进行灵活的配置，实现应用按需求（容量、性能、QoS、SLA等）进行分配。同时可以对外提供丰富的标准接口，如文件系统接口（NFS、CIFS）、块接口（iSCIS、FC）或者对象接口（S3、SWIFT）；对内能够提供标准的管理接口进行配置，通过策略服务满足应用和客户所需的存储资源，无需人工干预。
由于之前存储系统紧耦合的原因，造成了现有数据中内部常常出现多厂家不同型号的存储设备共存的现象，这些存储设备之间往往没有通用的接口，并且存在技术壁垒，维保服务需要独立采购。基于X86架构的分布式存储系统使得用户在通用硬件设备和上层软件服务的选择上更自主、范围更广。同时新存储系统应该支持自动化简化异构存储设备快速接入和统一管理，对数据中心内部的存储资源实施一致的策略。将传统的不同厂家、不同型号的存储产品利用起来，节约资源。
5、存储系统应该方便部署、易于管理
传统存储系统在建设过程中在，需要配置交换机、划分LUN、配置主机组、映射、识别、多路径聚合等多步操作，十分麻烦；新的存储系统应该将简化运维的理念贯彻实施，具有简化部署的功能，并且在日常管理和错误处理方面能够实现自动化，例如当某个节点发生故障时，系统能够自动将数据复制到健康节点，重新进行负载均衡，整个过程无需人工参与。
存储系统应该为管理人员提供全面的存储可视化，深入洞悉存储与应用的关系，为存储可能出现的问题和趋势以及对存储资源的优化与使用进行报告和预警。智能化的采集和分析，使得存储资源被更加高效地利用。例如对存储IOPS、存储吞吐量以及存储容量的使用进行动态的监测和预测，方便管理人员对存储现有情况进行了解和及时对未来存储的扩容进行规划。
2、架构设计
2016年底，我司计划在创新研究环境中引入分布式存储技术，并为OpenStack私有云平台提供服务，计算存储耦合联动，实现整体架构上的分布式。一期项目规模为6个节点，采用3副本，共提供80T的存储空间，主要业务租户为创新研究所需的虚拟机。
2.1 硬件平台
2.1.1 存储服务器选型
本次项目服务器的详细配置如下：
2.2 总体架构设计
分布式云存储系统的核心是统一管理存储资源，面向云平台，提供多样化的数据服务。分布式云存储系统将应用与底层存储解耦，不依赖于传统设备和应用厂商的绑定。在未来数据中心全面转型，整体上云的过程中，实现存储与计算、网络资源的联动，顺应数据价值链向服务转移。
图 2-1 分布式云存储系统架构示意图
分布式云存储系统主要由基于分布式架构的分布式存储系统和轻量化异构存储统一管理组件构成。
基于分布式架构的分布式存储运行在标准的X86服务器之上，利用虚拟化技术，将集群中的存储资源虚拟化为存储池，并向上提供块设备、文件和对象存储服务。同时，分布式存储具有高性能，能够轻松应对各类高负载管理的要求，其中包括业务关键型应用与核心业务系统；多副本及强一致性技术的应用提供高可用特性；极强的横向扩展能力则为业务扩张带来的管理维护提供了极大的灵活性和便利。
轻量化异构存储统一管理组件实现了分布式存储和集中式存储的统一自动化管理，分布式分布式存储通过面向存储统一管理组件开放存储系统的控制接口，实现存储系统的监控与运维。通过开放的接口，异构存储统一管理组件可以实现分布式存储系统的资源划分与服务编排，并对集中式存储设备划分基于不同QoS策略的虚拟卷服务于云平台，实现与计算、网络的联动。
2.3 两种部署方式
在实际部署中，依据计算资源与存储资源是否集中，分布式存储可以采用两种部署方式，分别为超融合部署方式与分离式部署方式。超融合方式与分离式方式最大的区别就是超融合在分离式的基础上，还包含了计算，并通过内部网络实现了计算、存储和网络的融合。
若使用超融合的部署方式，则虚拟机和分布式存储系统均运行在相同的物理机上。典型情况如下图所示。
若使用分离部署的方式，则运行虚拟机的服务器和存储系统服务端位于不同的物理机。典型情况如下图所示。
经过对比，显而易见，由于同时占有计算和存储资源以及网络带宽，超融合部署方式在顺序读取与随机读取的场景下，性能上明显有显著的衰减。
在超融合部署方式的理念下。计算和存储会争抢CPU/内存/网络等物理资源，而且计算和存储又相互依赖，一旦一方资源需求骤升就是导致另一方资源枯竭，进而影响性能并在整个基础架构中产生涟漪效应。其次超融合部署方式在集群规模较大后，网络、硬盘、服务器发生故障的概率都会增大，数据重删、压缩、加密纠删码等功能都用软件实现，故障的自修复和数据功能实现都会消耗一定的系统资源，导致性能下降和抖动。
具体两种部署方案在高可靠、性能、易扩展性、弹性以及易管理等方面的对比如下：
结合业务需求与特点，两种部署方式针对的应用场景如下：
3、网络设计方案
3.1 在机架式服务器上使用组网方案
3.1.1 单柜10GE组网
说明：
1、服务器上默认配置一块2x10GE的网卡，分别与两台10GE交换机连接，两个网口做bond，缺省为负载分担规模
2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分别与两个10GE交换机连接
3、10GE交换机下行承担内部管理、存储、业务平面，10GE上行对接客户网络，默认提供4x10GE，两台10GE交换机堆叠
3.1.2 单柜Infinite Band存储组网
说明：
1、服务器上默认配置一块2x10GE的网卡，分别与两台10GE交换机连接，两个网口做bond，缺省为源目的IP和Port负荷分担模式，对应的交换机端口配置eth-trunk
2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分别与两个10GE交换机连接，对应端口做eth-trunk
3、10GE交换机下行承担内部管理、业务平面网络连接，10GE上行对接客户网络，默认提供4x10GE，两台10GE交换机堆叠
4、每台服务器上的两个Infinite Band网口分别与两台Infinite Band交换机连接，两台Infinite Band交换机之间6根线互连，Infinite Band网口承担存储平面的通信
6、后续扩容需要增加10GE汇聚交换机和Infinite Band主干交换机
3.2 在刀片服务器上使用组网方案
3.2.1 虚拟化10GE 刀片服务器组网
说明：
1、每个刀片配置1个2x10GE端口的iNIC网卡或普通10GE网卡；
2、每个机框使用XCUB交换板，通过基本框自级联方式，不使用外置交换机。框间使用4x10GE互联。
3、框内两块交换板通过40G接口堆叠；
3.2.2 虚拟化IB+SSD组网
说明：
1、中心框汇聚，10GE和IB交换板，无外置交换机，最大规模7框
2、每扩展框两块10GE交换板与中心框2+2（40GE）互连，内部管理与业务
3、每扩展框两块IB交换板与汇聚框3+3互连，其中直连2根交叉1根IB线，内部存储
4、中心框上行2+2（40GE），外部业务
5、刀片采用计算存储融合方式，每刀片主要配置：1块2x10GE，1块2x56Gb，2块SSD主存
6、每扩展框存储单面带宽2x56Gb=112Gbps
原题：金融企业分布式存储方案设计实践分享 点击阅读原文，即可下载该资料原文档 觉得本文有用，请转发或点击“在看”，让更多同行看到
相关推荐：
欢迎关注社区 "分布式存储"技术主题 ，将会不断更新优质资料、文章。地址：
http://www.talkwithtrend.com/Topic/23951
下载 twt 社区客户端 APP
长按识别二维码即可下载
或到应用商店搜索“twt”
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点，不代表社区立场