大型企业中,SDS 对象存储是否可以替代集中式 NAS 存储?
以下内容来自社区探讨,欢迎点击阅读原文到社区与同行交流本话题
大型企业中,SDS对象存储是否可替代集中式NAS存储?
在传统的大型企业中,集中式NAS存储设备应用广泛。传统集中式NAS存储设备,成本较低,操作简便,并且其自身定位于FC-SAN存储设备的补充被大数企业所认可。 而SDS对象存储在存储海量非结构化数据这一功能方面与NAS存储相重合,那么对于企业非结构化数据发展的角度来说,从长远看是否要转型采用SDS对象存储?如果转型为SDS对象存储,企业信息化发展会有哪些收益? (@cucu 黑龙江省电力 系统工程师)
@Garyy 某保险 系统工程师:
传统的NAS存储在传统企业中目前仍占据很大的地位,但是由于互联网大数据的兴起,非结构化数据越来越占据主导地位,所以传统NAS无论在scaleout扩展方面,还是运维的方便性,还是使用者的易用性方面,都无法和对象存储相比。
云对象存储的实施给企业现有的集中式 SAN 和 NAS 存储带来了更多的活力,是对传统存储架构的有效补充,增强了企业存储系统应对日益变化的前端业务需求的灵活性。
由于云对象存储产品普遍采用了商用 x86 硬件的分布式架构,因此较之于传统集中式的存储解决方案,这种新的平台可以有更灵活的横向在线扩展能力,从而可以轻松应对业务规模、数据量骤增带来的后端存储压力。
另外在云对象存储平台解决了企业海量非结构化数据存储需求的同时,通过其分布式架构天然具有的容灾特性可以轻松构建跨多站点的灾备方案。
再者,借助云对象存储对文件多版本的支持以及比传统存储更高的可用性、可靠性和可维护性指标, 云对象存储平台同时也成为了一个免备份的数据保护平台,从而可以进一步降低企业 IT 系统的 TCO。
@张鹏 中国金融电子化公司 技术总监:
基于云原生应用中涉及持久化存储,对象存储比NAS 更加方便。
传统架构个人认为没必要做替换,没必要为了用对象存储做传统应用的适配。
NAS 的生态已经建立的比较完善了,当前云原生架构的兴起, 传统NAS厂商可能更需要考虑去适应新技术。
数据湖,是一种在系统或存储库中以自然格式存储数据的方法,它有助于以各种模式和结构形式配置数据,通常是对象块或文件。随着企业对数据湖需求的增加,数据湖的重要性日益增长。数据湖中数据是多元化的,不仅仅有大数据,管理原始数据的同时还包括重组数据。数据湖中的数据量规模日益增长,已经达到PB级。对象存储相对低廉的成本,方便的云上或者云间移动特性,支持广泛的数据类型,使用空间的弹性伸缩等等优势,非常适用于数据湖的应用。
现代企业应用的转型,必定更多的运用新技术,把握未来技术的发展脉络,建议及时调整策略。对象存储的发展势头很猛,业务转型需要技术转型做为支撑,我个人认为对象存储会持续增长,应用范围也越来越广。
@chinesezzqiang 信息技术经理:
我觉得当前大型企业中SDS还不能完全替代NAS的应用场景。
1.运维成本低,NAS存储本身由机头和扩展柜组成,本身集成度高,管理员无需高阶存储知识便可操作及进行普通运维;
2.非核心场景应用,比如文档的归档,非及时性数据存储;
3.NAS与现有应用集成简单,适合小应用环境的快速部署;
NAS本身与SDS有部分功能重合,但是在多样的企业应用场景里依然具备较高的普及率。
@michael1983 某证券 技术经理:
NAS与对象存储
从网上找了一张图,蛮形象的解释了NAS和对象存储的差别。
NAS维护的是一个庞大的目录树,查询起来非常麻烦,尤其是在云计算、大数据飞速发展的今天,动不动就会产生数百万、千万甚至上亿个文件/对象,在这种情况下,目录树会给存储带来很大的开销和扩展等问题,从而成为瓶颈。
对象存储,采用的是扁平的数据结构,替代了传统NAS的目录树结构,其次是简洁的数据读写接口,以提高用户访问与数据读写的效率。简单来说就类似于查字典,知道拼音就可以知道它在哪页,数据的查询层级只有非常简单的两级(目录、页)关系;而NAS目录树则不同,NAS拥有多层级关系,简单说就是树干、树杈、子树杈、叶子等层级关系,如果要查询一个数据的话是很麻烦的。所以扁平数据结构更能满足数据管理的需求。
对象存储成为未来主流不单单是它自身设计的光环,还有一个原因,根据Gartner发布《对象存储关键能力》报告中了解到,“非结构化数据呈爆炸式增长,因而需要低成本、可扩展、自愈合、多租户的平台,用于存储PB级数据。”可以看到几个关键字:低成本、可扩展、自愈合、多租户,正是这几种原因促使了对象存储在企业中的应用。
那NAS文件存储是不是没用武之地了?
答案是:适合自己的才是最好的,最适合于自己场景的存储才是好存储。假如你是互联网应用、流媒体、CDN、海量数据,那么采用对象存储再合适不过了;假如你是想弄个文件共享服务,那么还是NAS合适。尤其现在NAS的使用门槛越来越低,很多家用NAS也在占领家用存储市场,用于日常的文件保存需求(视频、照片、文档等),光盘、移动硬盘等都在逐步减少市场,日后家庭内部组网,很可能就是一台NAS就可以承载所有的存储需求。
所以说本文并不是说文件存储没了用武之地,而是说对象存储取代了一部分原来并不适用于文件存储的业务场景。
但是,我们也可以看到,对象存储是充满着互联网时代非结构化数据的光环,随着“互联网+”的政策号召,互联网技术正在渗透到各行各业,数据量也在不断的增长,对象存储以后将越来越成为会成为趋势,占据越来越大的市场份额。
@潘延晟 系统工程师:
IT 的发展一直以来都是最适应市场需求的逐渐成为主导,NAS在特定的环境下快速的发展。便宜的价格和简单的操作让他占有很大的市场。但现在硬件,存储,网络的成本在不但降低,反而是人们对存储容量,速度还有管理上有了更高的要求。在这样的环境下SDS就有了更多迎合市场的优点,对于多数企业来说。或许更愿意去用金钱换取高效稳定的业务运行。
所以最终是否能够替代NAS,一是要看市场上用户是否完全没有了NAS的需求。一方面是将来的发展中还会不会出现更快更大更低廉的技术来供人们选择。
目前看。我觉得NAS的应该会逐渐边缘化,成为中小企业,边缘业务的选择。而主要业务随着业务重要性的提高。人们对存储的要求也会越来越高。
@李静 XSKY 软件架构设计师:
如今传统企业的IT部门正在经历着互联网公司曾经遭遇的NAS无法解决的存储难题,主要体现在如下方面:NAS存储采用古老的文件系统技术,单个文件系统容量受限,超过容量后对IT运维将带来巨大挑战;NAS存储的目录文件系统采用B+树进行文件索引,当文件数量过多时,会严重影响访问性能;NAS设备过维保后,由于非结构化数据规模较大,在更换时需要花费大量时间,且数据迁移存在风险等等。
分布式去中心架构,容量和性能扩展方便
对象存储普遍采用的是基于通用x86服务器+分布式对象存储软件的技术架构,对象存储软件将多台服务器通过以太网连接,构建成一个统一的存储资源池,可动态增加或删除服务器实现容量的调整,数据能够自动均衡,并且利用副本和纠删机制(类似于RAID5/6)实现数据的高可靠和高可用性。
传统NAS过维保后,需要将过保设备上的数据人工迁移到新购置的NAS上,文件数量较多的用户需要花1到2个月时间,运维人力消耗非常大。而采用如下图所示的分布式架构,可以动态移除旧设备,无需人工干预,业务也不受影响。
创新的索引技术,真正解决海量小文件问题
海量小文件的存储是工业界和学术界公认的难题,解决问题较为关键的技术点就是优化元数据管理,由于传统NAS采用B+树进行文件检索,当文件数量比较少的时候,B+树基本可以被缓存,性能还是不错的。但随着文件数量的增多,B+树占用空间非常大无法被缓存时,就会涉及到机械盘操作导致性能明显下降,如果层级较深,仅仅索引访问就会产生多次磁盘随机访问操作,严重影响文件的访问性能。
而对象存储普遍采用了分布式哈希查找算法(DHT),技术原理:在建立集群时,对象存储将整个存储空间划分成一个哈希环,每个磁盘负责哈希环中部分哈希分区的存储。当需要访问一个文件时,系统通过“目录/桶名+文件名”的哈希计算后,查询DHT表即可定位到具体磁盘进行文件访问。由于哈希环并不随文件数量的增加而增多,所以查找性能不会受到文件数量的影响。
超大容量单目录,满足业务生命周期存储需求
传统NAS存储采用文件系统技术,单个文件系统容量普遍在几十TB级。由于IT管理人员在业务上线前无法对规范容量和目录需求做出精准评估,对于某些产生数据量较大的业务系统来说,需要挂载多个文件系统目录,这会带来很多非增值的运维工作。而对象存储采用扁平化的文件名唯一定位方式,单个目录或者存储空间能达到数十PB甚至数百PB级,可以满足业务系统整个生命周期的存储容量需求,无需挂载目录和调整业务系统,让IT人员更加关注业务价值本身。
更加适用于多数据中心容灾场景
高效的业务系统容灾方案是企业IT部门最为关注的焦点之一。对象存储在接口方面的技术改良,使其在多数据中心容灾方面支持得更加完善,大部分对象存储厂商都支持两个及以上的多数据中心容灾。传统NAS往往是主备模式的容灾,而对象存储普遍支持Active-Active模式的容灾,可实现本地数据中心应用的就近访问。这对于采用负载均衡模式数据中心的企业来说,是非常有价值的,可以提升每个数据中心业务系统的访问性能。
实现私有云和公有云间的数据流通
随着企业互联网业务的发展,越来越多的应用运行在智能终端和公有云平台上,而考虑到安全性和保密性,数据依然保存在企业内部。传统NAS的CIFS/NFS协议只能被企业内网访问,无法直接提供给外部网络。对象存储最早被应用在互联网和公有云场景,所以对象存储的访问协议(S3、SWIFT)都是基于HTTP标准协议,可支持内网和外网应用系统对存储的自由访问。在安全性方面,数据采用AES进行加密传输,支持HTTPS保证传输链路安全。S3协议还定义了完整的多租户访问、文件粒度的授权访问等多种安全技术,保证了数据开放给外网访问的安全性。
这些都是对象的好处,但文件的存量非常的大,涉及很多应用类型,从NAS到对象是大势所趋,但要应用接口改造都支持对象协议还有一个过渡期。
@杨文云 GBS 数据库管理员:
软件定义存储 (SDS) 的特征与传统采用的网络连接存储 (NAS) 和存储局域网 (SAN) 截然不同。
与以硬件为中心的 NAS 和 SAN 正好相反,SDS 会利用存储虚拟化,通过从物理存储设备抽离出来的软件层来控制存储。
这种方法能够使用存储池和自动化存储管理。SDS 软件可以管理用于重复数据删除、复制、精简配置、快照和备份的策略。为何选择软件定义存储?与传统的 NAS 和 SAN 存储方法相比,SDS 通常更加敏捷且经济高效。当然,情况并非总是如此,但一般而言,与基于专属硬件的存储阵列相比,SDS 都能够更快更经济地实现存储扩展。SDS 能够使用基于标准 X86 的存储硬件。同时,更改 SDS 配置通常也比在专用硬件上运行的存储更为简单快速。
NAS(网络附加存储)方式则全面改进了以前低效的DAS存储方式。它采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备,自形成一个网络。这样数据存储就不再是服务器的附属,而是作为独立网络节点而存在于网络之中,可由所有的网络用户共享。同时NAS存储真正做到了即插即用,并且部署起来也相对灵活,再加上管理成本低,是目前企业选择较多的,但它同时也有存储性能低和可靠度不高等缺点。
DAS这种存储方式与我们普通的PC存储架构一样,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部份,DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。DAS已经存在了很长时间,并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率,因此,虽然在一些部门中一些新的SAN设备已经开始取代DAS,但是在要求快速磁盘访问的情况下,云计算环境中DAS是一种理想的选择。
如有任何问题,可点击文末阅读原文,到社区原文下评论交流 觉得本文有用,请转发或点击“在看”,让更多同行看到
相关推荐:
大型制造企业主存储技术路线发展趋势探讨
http://www.talkwithtrend.com/Document/detail/tid/416083
欢迎关注社区“存储”技术主题 ,将会不断更新优质资料、文章。地址:
http://www.talkwithtrend.com/Topic/179
下载 twt 社区客户端 APP
长按识别二维码即可下载
或到应用商店搜索“twt”
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点,不代表社区立场