云存储三种主要技术路线分析
本文重点分析云存储的三种主要技术路线:存储虚拟化、SDS 软件定义分布式存储、对象存储。
存储虚拟化
存储虚拟化更多是对传统块(FC SAN,IP SAN)的虚拟化。 其主要解决了企业内部传统存储资源无法有效进行存储资源整合和统一管理的难题。可以有效的提升整体存储资源的利用率和降低人员运维成本。
同时作为虚拟化网关,极大的方便了异构品牌平台存储间的数据集中和数据迁移。
很多存储虚拟化网关本身具有远超传统存储的企业级软件功能:比如thin,压缩,快照,clone,数据复制等。可以通过虚拟化网关进行统一的存储复制交付功能。
所以存储虚拟化的主要勇武之地还是在传统IT环境及私有云环境。自然面向的也是高IO负载,低读写延迟等重要应用业务环境,比如数据库。是对传统IT环境中企业存储阵列的一个补充和升华。
另一方面,比如说IBM SVC 虚拟化网关,在软件功能方面强大无比,新版本功能在存储端提供S3 等API接口,支持直接将存储上的卷数据和快照数据上传保存到S3或是其他对象存储。这让存储虚拟化功能又向前走了一大步。
SDS软件定义分布式存储
为什么对于分布式存储我要在开通加上“SDS软件定义呢”? 因为我们这里讨论的是云存储关联的分布式存储。
分布式存储早多少年即有之了,并且很多都耳熟能详。比如EMC 的VMAX 高端存储阵列就是一种紧耦合的专有硬件的,硬件和软件相集成的传统分布式存储阵列。比如IBM 的XIV 高存储阵列也是硬件和软件相集成的高密度容量的分布式存储阵列。这些传统分布式存储阵列具有传统高端存储的高IOPS,低读写延迟优点,同时有具有分布式存储多副本,节点冗余自恢复等特色。
再说一说SDS 软件定义分布式存储,这个是云里面,无论是公有云还是私有云都在炒的潮流。也是云存储的主流当家花旦。
一般的SDS 软件定义分布式存储产品功能协议支持都比较全:
A. 块block协议 给轻量级数据库,VM,提供高性能块裸设备。
B. 文件file协议提供类似NAS 的文件共享功能或是承载非IO性能密集型的应用。
C. 支持api调用存取object 对象,用来存储海量数据文件。
针对以上三个协议我要多说几句:
1、首先SDS分布式存储在block块协议这方面相比传统存储在高性能低延迟、成本控制及易管理维护方面没有任何优势。同样的一套oracle数据库采用传统存储TCO总体拥有成本方面有可能只是SDS分布式存储成本的1/2甚至更少,这个在以前可能是误区,可能大家都认为开源的,或是软件定义的自己DIY搭的东西是最便宜的,其实很多时候事实刚好相反,开源的DIY的东西反而可能是最昂贵的。
对于传统IO密集型数据库应用来说,当前最好的存储模式还是采用传统高端存储阵列,因为这就好比存储中的跑车法拉利,虽然价格贵,但是久经验证,在性能和稳定性方面绝对可靠。
SDS分布式存储当前因为三副本等原因容量成本在超大规模以下场景成本优势不明显,甚至是劣势。性能方面还是只能适用于opentask、VM、轻量级数据库场景。块协议普遍存在IO输出不稳定、延迟高等缺点。另外一个缺点就是在企业级存储软件功能方面,比如快照、clone,复制等技术方面相较传统存储还不是十分成熟,无法在生产环境中应用。
但是SDS 软件定义分布式存储是未来的大方向,也是在逐渐成熟中,未来一统天下也未可知。
2.SDS 分布式存储在file文件协议这一块PK的对手也慢多的,像传统的NAS存储,越来越火的分布式或是集群文件系统,比如GlusterFS、GPFS 等,个人感觉这一块SDS分布式存储会抢占很多传统NAS的市场份额,毕竟很多使用NAS的应用在IO性能和延迟方面要求低很多, 使用分布式存储的file协议,可以解决NAS 产品scale-out横向扩展不足的缺点。NAS 能应用的很多场景,一款优秀的SDS分布存储file协议应该也可以满足。
3.对象协议。
这个放在下文对象存储中一起讨论。毕竟多数SDS 分布式存储的底层就是调用对象来存储和读取数据的。块block协议功能和file协议功能都是间接调用基于的对象来实现的。
对象存储
其实这个没有什么好说的。对象存储的出现就是为解决了互联网上存储海量大数据的问题。比如存储万亿的视频、图片,照片等。比如进行海量的数据归档,数据备份等。现在很流行的用法就就是用对象存储存储海量非结构化数据,然后进行大数据分析。
优点:对象存储其采用key-volume的扁平化存储架构设计,使用简单,调用API就能进行数据存储和读取。可以存储海量数据,这点传统存储和NAS就没辙。在海量数据场景中你只能选择对象存储。如果传统SAN存储是跑车,NAS是货车,那么对象存储就是万亿吨海上集装箱大油轮。对对象存储来说,单个客户端的访问效率不高,延迟也很高。但是你架不住他海量并发呀,互联网上海量客户端并发访问,这个带宽和总体性能一下就上去了。
缺点:单个客户端访问效率低,延迟高。应用功能和场景受限。对象存储不支持随机读写操作,只能全读全写,其面向的是一次写入,多次读取的非结构化数据存储的需求场景。
对此内容感兴趣?欢迎参加进一步交流:
金融行业云存储建设主要技术路线(对象存储、存储虚拟化、分布式存储)选择探讨
主要围绕以下几个核心议题:
1、传统IT环境中使用传统存储的困境有那些?那些应用场景是传统存储不能满足而必须借助云存储来实现的?
2、金融行业云存储建设中技术路线应该如何选择?分别在什么场景下去选择对应的技术路线?
2、企业在应用对象存储技术主要是解决那些问题?并且技术产品选型上应该如何考虑?
3、企业在存储虚拟化技术上主要是解决那些问题?并且技术产品选型上应该如何考虑?
4、企业在分布式存储技术上主要是解决那些问题?并且技术产品选型上应该如何考虑?
5、传统存储阵列分布式架构和SDS 软件定义分布式存储架构的相同点和不同点?各自定位有何不同?
6、构建SDS 软件定义分布式存储或是对象存储时,是直接用开源ceph自己搭建好,还是购买成熟的产品部署好?
交流活动分享嘉宾、本文作者:王帅,平安保险资深存储运维工程师。擅长存储虚拟化,传统分布式存储阵列,存储数据复制和冗灾技术,和存储自动化运维开发。
点击阅读原文即可参与,活动正在进行中
长按二维码关注公众号