农商行/农信社新一代核心系统建设中，存储选型及架构设计10个难点解读
为解答相关疑问，twt社区特意邀请了省农信等行业专家、DellEMC 技术专家等共同交流探讨。以下是针对疑难问题专家分享的观点，供大家参考。
【难点 1】对于银行新数据中心建设核心系统存储架构选择上，是选择传统架构下集中式存储还是分布式存储架构？
【问题描述】
1．集中式存储最大的优势在于架构简单、维护相对容易，已有的运维经验能够延续，同时传统存储厂商支持能力相对较强，对于中小型银行来说，互联网业务的增长规模比较大行有一定的局限性。而分布式存储在非一线城市中厂商技术支持方面是否还存在短板？
2.对稳定性方面考量，集中式存储使用较早，而分布式存储出现时间才刚刚几年，软件的可靠性方面是否还不适宜用做银行核心系统？分布式存储软件授权和后期支持服务费用等价格方面考虑，整体价格优势是否比集中式存储已不够明显？
综上，对银行核心系统存储的架构选择上还有什么指导思路？
@邓毓 某农信 系统工程师：
决定了核心存储架构也就相当于决定了核心数据库架构，首先传统架构肯定能够满足您当下的需求，那么这个问题实际上是在问分布式架构能不能满足您的需求，答案是肯定能，几家比较知名的民营银行已经吃了螃蟹，上了OLTP分布式数据库，鲜活的案例。但是成本也是很高的，这里说的成本不是说价格成本，而是指维护成本、人力成本和技术成本，有人有技术，或者买人买技术。
我相信核心上分布式架构都不是问题，就互联网公司大规模使用分布式来看，技术成熟度已然很高，而且性能优势和扩展性优势也非常突出，但价格成本相对传统分布式而言不会低，甚至只会高。所以就我个人的意见来说，如果是建设新核心系统，与老核心形成双核体系，那新核心采用分布式架构转型是势在必行的。如果是老核心改造升级，那可能采用传统的集中式模式会更平稳些。
@wangxianghu 中国民生银行 存储工程师：
1、存储扩容能力不是核心系统面临的主要问题。银行系统按照业务特点可以分为六类，分别是交易类、报表分析类、影像类、虚拟化平台类、办公类和归档备份类。通常核心系统指交易类系统，生成的主要是交易流水类关系型数据，相比影像类系统，交易类系统的数据增量小，集中存储的扩容能力完全可以满足扩容需求。另外核心系统投产前应是强规划的，提前做好了容量评估，同时也制定好了数据归档和清理策略，很少出现容量不足需要物理扩容的情况。
2、集中存储的成本已不再让人望而生畏。现在集中式存储以闪存为主，容量大、体积小，价格越来越便宜，成本较全闪配置的分布式存储，差距已明显缩小。再考虑到稳定性和容灾能力，集中存储远胜于分布式存储。从架构稳定性、容灾能力和成本三方面综合考虑，集中式存储更适合银行核心系统。
3、尝试新存储架构应选择非核心系统。用核心系统尝试新存储架构，风险高，收益小，得不偿失。可以用外围系统或是更适合的业务场景去尝试而不是用核心系统。所以，在集中式应用架构下，集中式存储依然是核心系统的首选。
当然，核心系统不用分布式存储，并不表示其他系统或平台也不能用分布式存储。在容量需求大、稳定性和容灾能力要求不苛刻的场景，低配的分布式存储优势十分明显，比如影像类或虚拟化平台类场景。新机房存储规划时需要考虑。
@wybbc 某省农信 存储架构师：
1.核心系统存储架构选择上是选择传统架构下集中式存储还是分布式存储架构？这个问题的答案实际上是由所选择的核心系统架构本身确定的。传统核心系统大多采用的还是传统的集中式架构的存储，分布式核心系统估计多采用分布式数据库和分布式存储架构。一般来讲核心系统研发公司会给你一个比较明确的答案。
2.目前采用全闪的集中式存储的性能和扩展性对于一般的银行的核心系统来说一般都是没有问题的，核心系统的瓶颈一般很难体现在存储端（当然是要传统机械盘的除外），主要还是考虑核心系统数据库数性能的优化，和跑批性能的优化。对于中小银行而言，更无需太多担忧。
3.目前也有很多分布式存储应用于金融行业，只是存储本身架构采用分布式架构，多副本技术，但是对于我们来讲是感受不到的，上层跑还是我们的传统系统，也不需要很多的维护。另外还有一些大数据、大容量备份存储也采购分布式存储。
4.为应对互联网金融业务快速发展，我行计划以传统业务体系为基础，建设新的互联网金融业务核心系统，形成传统集中式和分布式架构并存的“双核心”IT架构。原来的核心系统是作为稳态的系统，仍然采用传统数据库+高可用的全闪存储；互联网金融作为敏态的系统，计划采用头部金融科技公司的互联网金融整体解决方案，那么这个架构就不单单体现在存储是分布式的了，而是整个体系的分布式。
【难点 2】银行核心系统存储如选择分布式存储，应从哪些方面进行考虑？
【问题描述】目前我社正在考虑建设新一代双活数据中心，在规划核心系统使用的存储时，是使用集中存储还是使用分布式存储是我们考虑的难点。请问如果考虑使用分布式存储，在分布式存储的选型上应重点考虑哪些方面，在关键性能指标、存储的稳定性、健壮性、并发性、数据复制、双活等方面主要侧重考虑哪些问题。
@light_hu86 某省农信 资深工程师：
在规划核心系统使用存储时，两种架构的存储的选择考虑起来的确比较困难，但对于省农信来说，业务量也不小，日均也在千万比左右，使用分布式存储来承载的如此大数据量的金融机构而言，是需要很大的勇气以及承担未知的风险的。全国农信而言，也很少见到用分布式存储来跑核心的，毕竟金融业还是以稳定为主的，步子太大容易摔着。
但如若考虑分布式存储，在选型上应着重考虑如下几点：
1、稳定性；
2、性能（IOPS、MBPS以及延时）；
3、数据一致性；
4、高可用性；
5、灾备以及双活机制等。
@杨健 DellEMC 售前系统工程部经理：
除了上面专家提到的一些点，我再补充一个：分布式存储对上层应用的普适性，也就是分布式平台需要支持多种数据库、多种虚拟化平台或者容器平台。
【难点 3】新核心架构存储如果选择分布式技术路线，存储复制采用何种技术？
@light_hu86 某省农信 自身工程师：
目前的多家农信而言，核心存储选择分布式的很少，传统的400架构大都是集中式存储。最近几年建设的网络金融核心而言，全套架构里面最核心的核心还是基于传统架构（Db2+集中存储），其他的采用分布式技术架构来实现，基于MySQL的binlog同步复制机构来实现。
@李君 DellEMC 售前系统工程师：
根据《等保2.0》和《中国银保监会办公厅开展中小银行机构业务连续性相关风险整治工作的通知》，银行的核心系统需要做到“本地数据备份与恢复+异地数据实时备份+本地业务高可用+异地业务高可用”。那么存储设备首先要满足本地高可用架构，然后再满足“两地三中心的”的数据复制要求，建议可以通过存储底层复制+数据库复制相结合的方式，实现数据的复制。但是现有的分布式存储作为核心系统存储的案例不多。在选择技术路线时需要谨慎考虑。
@杨健 DellEMC 售前系统工程部经理：
核心系统采用分布式的几乎没有，但好多行在做新一代的时候会考虑互联网+类的核心系统。对于这些互联网+类核心系统，其中有很多对象存储的需求。这些系统是可以考虑分布式，而且是多站点、多活的分布式系统。这时候就不是采用简单的复制技术了，而是采用多站点多活的强一致性技术。
【难点 4】银行核心系统建设，实时交易类应用的存储架构设计时需要重点考虑哪些关注点？
@light_hu86 某省农信 资深工程师：
个人建议应考虑稳定、性能、一致性及高可靠性等要求。对于银行来说，数据是业务立足的根本，数据的稳定和一致性是确保业务持续的基础，但对于核心来说，业务量和交易量也是十分巨大，因此性能也是制约业务发展的因素，一旦满足不了就会发生堵塞，导致业务无法进行，后果也是十分严重的。
@李君 DellEMC 售前系统工程师：
实时交易列应用的存储架构设计，最重要的就是存储的稳定性和性能，因为实施交易类应用多为7*24小时的应用系统，如果存储设备一旦出现问题，就会影响业务，所以在存储架构设计中，最主要的就是存储的稳定可靠，所有的存储设备部件都需要冗余和在线进行存储的维护、升级。并且存储需要提供稳定一致的高性能，不能因为存储的性能问题影响业务。最后的存储需要良好的可扩展性，随着业务的发展，存储设备可以做到在线的横向扩展，同时扩展存储性能和存储容量。
@杨健 DellEMC 售前系统工程部经理：
IDC分析报告中指出，存储已经进入第五代存储时代。其核心特点是：
1）敏捷高速 （Nvme 、SCM）
2）有效容量（无损的重删和压缩率保障）
3）无缝接云（和私有云、混合云的无缝结合）
4）数据护航（端到端的数据保护及业务连续性）
5）AI赋能（智能化分层、智能化管理及部署）
对于银行核心系统在考虑存储架构时一定要围绕这些点来考虑。
【难点 5】银行在双活数据中心建设时，如何考虑跨数据中心不同服务器之间的文件共享需求？
【问题描述】我社在规划双活数据中心建设时，对于同一个业务系统其应用服务器分别部署在两个数据中心，想实现当一个数据中心应用服务器故障时，不影响应用系统正常使用。但是在实际落地时，两个数据中心应用服务器有文件共享需求，即当在a中心某台服务器存一个文件时，也需要在b中心的服务器上能够读取。这种需求在单中心时可以考虑使用NAS存储、GPFS软件，但是在双数据中心时，交流NAS厂家发现，NAS存储不支持双边写操作，即数据写入时只能指定其中一个中心的存储为主，另一个中心的nas存储为备，当在b中心数据写入时，首先写到a再写到b，数据传输了2遍，不满足我社需求。目前我们没有找到好的解决办法，请各位帮忙看一下各家是怎么实现的。
@light_hu86 某省农信 自身工程师：
主要通过GPFS的方式来实现文件共享需求。主要是基于如下考虑：GPFS相比NAS的方式稳定可靠。
@李君 DellEMC 售前系统工程师：
在双活数据中心的建设中，SAN存储和数据库已经可以很好的实现双活，对于NAS文件共享，由于与文件的读写访问具有独占性，目前业界主流的做法是双数据中心各配置一套NAS存储，并且将这两套NAS存储配置为存储复制的方式，两个站点的业务同时访问主数据中心的NAS存储，当主站点的NAS存储出现故障时，可以自动将文件访问切换到另一个数据中心的NAS存储。随着现在对象存储使用的越来越普及，对象存储具有可以跨站点数据强一致性的多活访问方式。如果是一些不频繁修改的文件，可以考虑使用对象存储来存放。
【难点 6】AS400 核心主机架构下，现阶段是否选择外接存储更优？
【问题描述】IBM AS400 架构，选择内置存储磁盘和外置存储磁盘，两种模式下，针对当前存储性能、HBA卡性能等各项设备配备来衡量 ，哪种模式下更优？或者还有什么衡量参数来选择？
@light_hu86 某省农信 自身工程师：
外接存储更优，因为内置存储的空间有限，特别是交易量比较大的农信机构来说，需要保存的数据也比较大，内置的存储有时无法满足现有生产需要，因此通过外接存储来满足数据，同时外接存储相比内置存储而言，性能也不相上下。
@潘延晟 系统工程师：
首先要考虑内置存储和外置磁盘阵列两种方式将来几年能不能完全满足你的容量需求。比如内置存储如果扩充的空间有限，那我就会考虑外置的存储。
另外。要预判未来几年之内的设备变更。如果AS400设备太老。将来面临更换的可能。那么内置存储的话。也会给业务迁移带来一些麻烦。
我觉得性能是一方面。将来的可靠性和可维护性也是我重点考虑的。
@李君 DellEMC 售前系统工程师：
基于 IBM AS400 核心主机架构的存储选型，我们认为选择外接存储的解决方案会更优，因为采用外接存储方案，使存储与计算设备从紧耦合变为松耦合，便于后期的存储扩展，并且可以使用的存储本身的软件功能实现数据服务，如数据快照、克隆，数据复制等等。
【难点 7】银行核心系统建设，核心存储选择闪存存储空间如何合理规划？是使用全闪存存储还是配置部分闪存盘？
@light_hu86 某省农信 资深工程师：
如若讲究性能以及预算可控的话还是选择全闪存存储，毕竟现在全闪价格也没贵多少，性能相比HDD物理盘速度还是有比较大提升的，毕竟是拿来跑核心的，也是讲究性能的。
@李君 DellEMC 售前系统工程师：
存储空间规划是重要的，但是也不是最重要的。随着银行核心系统的发展，目前银行的核心系统存储数据量规划的方法论已经逐渐成熟，我们建议在做存储规划的时候，需要参考《存储服务目录》的方法论，从整体的技术视图、架构设计、生产存储服务、数据备份服务、数据灾备服务、业务服务级别、ITIL等方面做全面的评估规划，对于核心数据库类型的应用可以参考IDC的评估模型，存储的数据量每年增长20%。在存储规划时，需要考虑到未来3-5年的数据增量。并且现在存储设备本身通过重删压缩技术可以实现存储有效容量的提升。在硬盘的选择上，我建议可以考虑全闪存存储。
@杨健 DellEMC 售前系统工程部经理：
核心系统采用全闪是毋庸置疑的趋势，这个趋势从2016年就开始了。全闪存储在空间规划时一定要考虑性能无损的数据缩减（重删及压缩）。DellEMC最新高端全闪存PowerMax提供3.5:1的数据缩减保障。在某大型商业银行大量的实际使用结果来看数据缩减率也确实到了4:1。
【难点 8】高端集中式机械硬盘需求是否会消失？
【问题描述】随着全闪存储的不断成熟，我判断未来生产环境中，机械硬盘的集中存储会需求会越来越低，块存储中，集中式全闪存和分布式存储，以及对象存储将会是主要存储模式。专家看法如何?
@asdf-asdf cloudstone 研究学者：
未来后端存储依然是混合存储：闪存+机器硬盘 （近10年趋势），根据算法把热数据缓存到闪存盘，不常用数据放到机器盘。分布式存储，只是软件定义存储，最后落地保存数据的还是盘，盘依然在服务器上，也是闪存在前，机器盘在后面。成本决定一切，如果闪存同每G价格和机器盘等价后，会有闪存替代机器盘的趋势。
@李君 DellEMC 售前系统工程师：
传统机械硬盘的需求一定还是会存在，适用的场景将会在一些数据备份和数据归档的场景，可能会用于对象存储和虚拟带库这类型的存储。随着银行业务系统的发展，对核心系统存储的性能要求会越来越高，传统的机械式硬盘的短板就很明显了，IOPS低，随机读写延时较高，磁盘故障率高，传统机械硬盘已经逐渐成为核心系统存储的瓶颈，所以随着高端集中存储的发展，特别是第五代存储的推广，未来的高端核心存储一定是会使用新的存储协议-NVMe，新的存储介质-NVMe协议的SSD和SCM。
【难点 9】用于实现数据同步复制、生命周期管理、容灾等的各种需求，在全闪存后面，是否需要后挂对象存储或者云存储？
@李君 DellEMC 售前系统工程师：
不需要在全闪后面挂对象存储或云存储，目前的银行存储架构设计，往往会提到存储服务的分层管理，包括内部分层和外部分层，内部分层是指根据业务系统工作负载的存储服务要求，如IOPS，带宽，延时等性能等指标，为不同的业务系统提供不同性能存储存储服务，如全闪存储，混合闪存存储，机械盘存储等等，同时也会根据业务系统的RPO和RTO要求分配不同级别的存储，外部分层是指根据数据的生命周期管理，数据的价值是随着数据存放的时间逐渐递减的，那么对于存储的存储，也需要根据数据的价值来选着对应的存储设备，如在线实时存储的数据，需要配置高端的全闪存存储，对于离线数据和归档数据，考虑使用每TB性价比更高的存储来存放。银行核心系统的全闪存存储主要用于在线的结构化数据服务，不需要后挂对象存储或云存储，在数据备份部分，可以考虑使用对象存储或云存储代替原有的物理带库。如使用在线备份存储和离线备份存储相结合等方式实现。
@light_hu86 某省农信 资深工程师：
不需要后挂存储，全闪存储就能实现同步复制、生命周期管理等功能。
【难点 10】是否采用统一存储一并解决NAS部分的需求？
【问题描述】新核心系统文件共享部分的需求是采用核心统一存储解决方案，即同时提供SAN+NAS的一体化存储解决方案，还是采用独立NAS存储解决？
@wybbc 某省农信 存储架构师：
1.如果新核心系统的共享文件系统不是很大，性能和空间要求不是很高，可以采用 san+nas的一体化存储解决方案，这样具有高端存储的高可用性保障，一体化方案要考虑NAS对存储本身资源的消耗问题，不建议作为主要的NAS解决方案。核心系统的共享文件系统要考虑跑批等特殊情况对于文件的锁问题，有可能会带来影响。
2.如果行内有其他系统也有许多NAS需求，可考虑独立的、专用NAS存储，特别是大量的图片、影像和非结构化数据存储。
3.我行核心系统的共享文件系统在测试环境采用了 san+nas一体化存储解决方案进行了测试，但后面改为了GPFS。我行的独立NAS存储主要用于 其他系统的非结构化数据存储和共享文件系统需求。
@李君 DellEMC 售前系统工程师：
需要根据NAS文件数据的访问场景分别进行讨论。对于强关联的业务系统，可以考虑使用同一存储，将业务系统的结构化数据和非结构化数据都存放在一台存储设备中，但是对于NAS容量要求，性能要求很高的访问场景，需要独立的分布式NAS存储。
原题：农商行/农信社新一代核心系统建设核心存储选型及架构设计探讨总结如有任何问题，可点击文末阅读原文，到社区原文下评论交流 觉得本文有用，请转发或点击“在看”，让更多同行看到
资料/文章推荐：
农商行农信社新一代核心系统存储解决方案
https://www.talkwithtrend.com/Document/detail/tid/436651
欢迎关注社区 "存储"技术主题 ，将会不断更新优质资料、文章。地址：
https://www.talkwithtrend.com/Channel/179
下载 twt 社区客户端 APP
长按识别二维码即可下载
或到应用商店搜索“twt”
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点，不代表社区立场