金融行业对象存储架构规划 10 个难点解读
本文是基于金融行业对象存储需求分析和架构规划实践，围绕对象存储的使用场景、对象存储技术方案等方面的线上交流分享的汇总，由社区专家顾文俊整理。
一、对象存储使用场景分析
Q1、对象存储在有哪些优势？
@Garyy：
对象存储与熟悉的块和文件存储略有不同。它将数据整理到可灵活调整大小的数据容器中，也就是对象。这些对象存储在可能跨多个位置的平面命名空间中。每个对象都包含数据（未解释的字节序列）和元数据（独一无二的 ID 再加上描述该对象的一组可扩展属性）。
此方式的优势在于，可以基于任何属性引用和查询数据。此外，不同于很容易放错地方的纸质停车票据，您可以通过多种方式找到正确的“票据”，而且还可以根据需要采用安全或简单的方式使用票据。标识符标记支持大量文件索引，高出文件系统几个数量级，因而对象存储成为分布在各地并且包含几十亿个文件的企业存储的理想选择。
以下三大趋势促使人们越来越关注对象存储：
非结构化数据的持续增长要求采用新方式来存储和保护数据。支持对象的数据管理有助于智能数据放置，可满足广泛的性能、持久性、可用性、位置和长期性要求。
越来越多的企业需要应对日趋分散的数据创建和使用所带来的问题。“主数据中心加灾难恢复数据中心”这种模式正逐渐被多站点方式所取代。在多站点方式中，用户、工作负载和数据的联系越来越紧密。
混合云提供了可平衡成本和性能的新选项，并且 IT 团队希望找到合理利用内部存储和基于云的存储的最佳方式
Q2、对象存储在目前的生产环境中主要可应用在哪些场景中?
@Garyy：
企业对云对象存储的需求主要来自业务系统和存储运维管理两方面。其中业务系统方面的需求主要包括影像系统后端存储的升级改造、双录系统存储建设。而运维对云对象存储的需求则更倾向于存储安全性、容量和性能扩展性以及存储管理便捷性等方面。需求分析如下：
➢ 业务发生在白天6-8小时，上传和查询比为1:3；
➢ 平均每交易产生10个文件，文件平均大小100~200KB；
➢ 要求查询一批文件的时间小于3秒；
➢ 上传业务以突发性（有一定周期性）写为主（文件写操作，有一定量的写合并），4K和128K占较大比例；
➢ 下载业务以持续较随机读为主，IO大小4K~32K。
➢ 特性需求：WORM、一体化备份、快照、远程复制。
➢ 业务挑战：海量非结构化小文件，在线存储成本高，容量有限，备份和恢复效率要求高。
在线票据影像场景主要处理小文件，实时性能要求高，目前以集中式NAS建设为主；票据影像归档场景处理海量文件的归档，性能要求不高，容量增长快，目前以存放到SDS对象存储为主。
Q3、大型企业中，SDS对象存储是否可替代集中式NAS存储？
@Garyy：
传统的NAS存储在传统企业中目前仍占据很大的地位，但是由于互联网大数据的兴起，非结构化数据越来越占据主导地位，所以传统NAS无论在scale-out扩展方面，还是运维的方便性，还是使用者的易用性方面，都无法和对象存储相比。
云对象存储的实施给企业现有的集中式 SAN 和 NAS 存储带来了更多的活力，是对传统存储架构的有效补充，增强了企业存储系统应对日益变化的前端业务需求的灵活性。
由于云对象存储产品普遍采用了商用 x86 硬件的分布式架构，因此较之于传统集中式的存储解决方案，这种新的平台可以有更灵活的横向在线扩展能力，从而可以轻松应对业务规模、数据量骤增带来的后端存储压力。
另外在云对象存储平台解决了企业海量非结构化数据存储需求的同时，通过其分布式架构天然具有的容灾特性可以轻松构建跨多站点的灾备方案。
再者，借助云对象存储对文件多版本的支持以及比传统存储更高的可用性、可靠性和可维护性指标， 云对象存储平台同时也成为了一个免备份的数据保护平台，从而可以进一步降低企业 IT 系统的 TCO。
Q4、对象存储在保险企业的适用场景有哪些？
@lzg21st：
一般来讲，传统行业一般采用集中式的SAN和NAS存储数据。但随着非结构化数据越来越多，传统的存储也出现了问题。一方面使用传统存储存放海量非结构化数据的成本高。再者，海量的非结构化数据在树型结构的文件型存储里的检索速度会随着文件数量和目录层级的复杂而效率下降。此外，海量的数据在传统存储里的备份是个难题。而对象存储的引进能从如上诸多方面解决用户的烦恼。
从业务层面来看，对于保险行业的影像系统，双录系统都是非结构化数据的密集地，这些业务场景都可以适时改造为对象存储。
@Garyy：
一直以来，作为传统行业，保险公司的存储系统普遍采用集中式的 SAN 和NAS 存储。这种采用专业 硬件的紧耦合架构设计的传统集中式存储一直主导着险企存储技术的发展，而且长期以来都作为各种保险 业务、ERP、邮件的主存储系统，因此我们的关注点也大多集中在如何提高这些专用存储系统的性能、安全性和可管理性上。
但随着企业的发展，保险业务量的激增，企业信息系统出现越来越多的非结构化数 据。影像系统是非结构化数据的一个主要来源，已经积累了数十亿的文件量，占用了近 PB 的空间，这些 非结构化数据主要存放在上述集中式存储上。由于传统存储采用集中的元数据处理方式，因此，当存取千万、亿级的文件量时就会出现陡峭的性能骤降拐点，直接表现就是前端内容管理平台处理效率降低，核保、保全以及理赔等保险业务效率的下降，最终导致客户满意度的下降，这显然不利于险企的健康持久发 展。
而采用扁平化数据组织方式的对象存储系统，能够有效解决纵深目录结构带来的文件存取效率低的问 题。另外，中国保监会发文要求保险行业实施“双录”系统，以便规范保险代理人的销售行为， 保障被保险人权利。“双录”系统的实施，带来了更多的录音、录像等非结构化数据，保险业的对象存储之路势在 必行。本文就是围绕保险业影像、“双录”等系统以及各类文件型应用产生的海量非结构化数据的存储和管 理优化，进行分布式云对象存储系统的方案设计。
二、对象存储技术解决方案
Q1、保险行业保单存量数据量巨大，如何快速从传统存储迁移至对象存储？
@聂奎甲：
使用数据无缝迁移的工具，能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。用户访问数据时，若对象存储无该部分数据，则会回源到用户源站去读取数据，并写入到对象存储，将数据传递给用户。
Q2、对象存储节点部署中如何保证高可用?
@Garyy：
通过三副本和纠删码等多种数据冗余模式，保障数据可靠性。同时，对象存储可以具备跨地域的多数据中心服务能力，支持 数据跨区复制，保证存储的高可用性。
对象存储系统通过接入业务接入集群和存储集群提供基础服务 能力支撑，集群支持水平扩展，接入集群与存储集群都可以进 行平滑扩容。且随着底层硬件规模增大，云存储系统的并发能 力也可以随集群规模线性增长，以支持更多数量用户访问。
存储空间(Bucket)支持多租户访问隔离，支持基于用户授权、 访问行为、访问地址等多个维度进行完善的访问控制安全机 制。同时，数据传输支持客户端及服务端加密，并通过 SSL 加密数据传输，保证数据传输安全。
Q3、对象存储的数据一致性怎么保证？
@Garyy：
所有的数据存储都涉及到简称为CAP的三个元素：一致性、可用性和分区。
如果只是执行了写操作从而改变了一个对象，但有人正在从另外的节点访问这个对象。节点可能会在不同的物理位置，因为对象存储支持很大的地理扩展。新用户可能正在读取对象，但那是旧版本。这就是对象存储的最终一致性问题，此时并没有及时的同步。
这将成为问题，特别是利用对象存储做协同的时候，厂商为保证对象存储的一致性做了很好的工作，一旦对象更改将不支持读取旧的内容。你必须等待，但你所读取的内容会是一致的。
Q4、分布式存储是用硬件解决方案还是软件解决方案好？
@Garyy：
分布式存储目前市场上看，有两种方式---软硬一体化和软件解决方案。
软硬一体化的解决方案，主要是传统的存储厂商，他们既有硬件产品，也有相应的控制软。纯软件的解决方案主要是ceph的产品化，对底层的硬件没有强制要求，兼容绝大多数的x86服务器。
对于方案的好坏对比，目前从使用的案例看来，差不多五五开。软硬一体的解决方案，在技术成熟度方面，在稳定性方面肯定优于采用通用硬件的纯软件解决方案。但是，在性价比方面，纯软件的解决方案无疑更具有优势。同时，纯软的解决方案，也是在不断的进步和完善中。
Q5、保险企业应该如何进行对象存储的系统方案设计？有哪些具体的设计内容？
@wykkx：
保险也是属于金融行业，金融行业最大的需求就是数据的可靠性。那么在选取产品的时候应该把数据的可靠性放在第一位。功能方面其实现在成熟的对象存储产品都比较同质化了，更多的是看需求方有没有一些个性化需求。
@Garyy：
1）需求分析
需要了解对象存储使用的场景，对接的应用系统对于对象存储的技术需求。例如存储等级划分，是需要ssd，sas，还是普通sata即可；是否需要数据安全一致性检查等等
2）产品选型
选择合适的产品进行部署，包括软件，硬件。
3）设计整体解决方案
设计硬件的组网方案，包括网络设计，对象网关的设计，副本技术选择，LoadBalance设计，系统性能调优设计等等。
Q6、如何评估对象存储项目的整体成本？
@Garyy：
整体成本需要从如下几个方面考虑：
1）硬件成本
涉及主机相关-包括管理服务器，网关服务器，存储服务器（CPU，内存，系统盘，数据盘，SSD，网卡）；网络设备-主要包括万兆交换机或者IB交换机；以及上架相关的设施
2）软件成本
分布式存储软件，一般是按照每个节点收取license费用（节点包含管理节点，数据/存储节点，网关节点），或者按照存储总容量（注意，通常不是按照可用容量计算。例如150TB的总容量，3副本，实际可用容量<=50TB）来收取费用。
3）运维成本
维护所需投入，例如原厂/代理商专家现场服务，原厂/代理商驻场服务，每个季度/半年/年的系统巡检等。
推荐文章/资料：
保险企业软件定义存储规划&对象存储实践经验分享
http://www.talkwithtrend.com/Document/detail/tid/422583
欢迎关注社区 “对象存储”技术主题 ，将会不断更新优质资料、文章，您也可以前往提出疑难问题，与同行切磋交流：
http://www.talkwithtrend.com/Topic/24493
下载 twt 社区客户端 APP
与更多同行在一起
高手随时解答你的疑难问题
轻松订阅各领域技术主题
浏览下载最新文章资料
长按识别二维码即可下载
或到应用商店搜索“twt”