查看原文
其他

关于对象存储,你知道多少?

2016-11-08 云头条

在计算机行业的早期阶段,存储架构通常使用块存储,将数据作为文件层次体系来管理。涉及的数据量比较小时,这种方法很好,但是由于存储需求日益增长,这意味着数据管理成了一项重大任务。这时就需要一种方法让数据处理起来更简单,同时支持可扩展性、易于访问信息。


对象存储就是这样一种技术,它将数据视作对象,每个对象包括数据本身、定义数据的元数据以及唯一标识符。这种技术的优点是,我们有可能以一种成本合理、可扩展、又能够确保一定程度自我管理的方式,存储大量非结构化数据。近些年来,在线共享和流媒体服务推动了对象存储的使用,不需要复杂的专业软件,就可以从任何地方轻松、快速地访问各种各样的数字内容。


工作机理


对象存储这个概念可以追溯到20世纪90年代中期,但最早的商业产品却是2003年推出的EMC Centera系统。


对象存储系统的工作机理是这样:把较低的存储层与应用程序层分离开来。这让数据得以作为对象来处理,而不是作为文件或块来处理。由于每个对象都带有自己的管理和描述信息,所以不需要管理员执行存储管理任务,比如把磁盘分成逻辑卷,或者使用RAID来处理故障。


由于元数据与每个对象联系起来,它可以用于许多不同的用途。比如说,针对特定应用程序或用户的对象方面的信息被捕获后,可用来改善索引机制。元数据还可以用于设定数据管理策略、集中控制存储资源。


面向对象存储设备可以使用低成本的商品硬件,并使用让用户可以创建、删除和修改对象的接口。软件还允许在对象层面实施安全控制机制。程序层面使用API的接口让应用程序可以直接访问和操作数据对象,不需要文件系统的中间层。


操作标准


与信息技术行业的其他关键领域一样,对象存储也依赖拥有得到公认的标准,确保系统可互操作。第一个基于对象的存储设备标准OSD-1指定64位对象和分区ID。虽然对象在分区里面创建和删除,但它们没有固定大小,也没有物理大小限制。对象大小、修改时间和策略标签等属性由OSD接口读取,但是还有其他属性被更高级的系统使用。


第二代OSD-2标准则增加了对集合对象的额外支持,改进了错误处理机制,新增了对分区中的所有对象获取只读“快照”副本这一功能。集合对象包含其他对象的标识符,这些标识符可用于错误报告和纠正,只要将介质故障或软件错误记录到错误纠正机制,而更高级的存储系统使用该错误纠正机制,采取纠正措施。


用途


对象存储具有诸多优点,这让它得以运用到许多不同的业务领域。这项技术的早期采用者是那些需要归档存储来存储大量数据的公司。对象存储具有良好的可扩展性,这意味着数据量增长后,系统扩展起来更容易。EMC Centera到2007年拥有约3500个客户。作为首批对象存储文件系统之一,Lustre用于世界上功能最强大的许多超级计算机。


对象存储还被云存储提供商广泛使用。Dropbox、微软Azure和谷歌云存储等服务都使用对象存储,以便存储和交换数据。这些服务处理数量庞大的文件。Azure表示,2014年它存储的对象就有大约20万亿个。


Facebook实施了自己的对象存储系统,名为Haystack,以便高效地存储和管理大量的照片。该系统让Facebook得以存储2400多亿张照片,并且以每天约3.5亿张的速度添加照片。


对象存储市场


调研公司IDC在2014年评出了对象存储市场18家表现活跃的厂商(https://www.idc.com/getdoc.jsp?containerId=253055)。同一份报告预测,到2018年,这个市场会比2014年年复合增长率超过27%。


主要厂商往往是主攻存储领域的公司,而不是一般的IT提供商。市场领导厂商包括Scality及其Scality Ring产品。这款产品可以在商品硬件上运行,针对需要处理大量非结构化数据(比如电子邮件和媒体文件)的服务提供商和广播公司。


IBM收购了Cleversafe,在这个行业抢占地盘,Cleversafe已更名为IBM云对象存储(IBM Cloud Object Storage)。它旨在可以与内部存储解决方案、云存储解决方案和混合存储解决方案协同运行,提供直观简单的管理和安全选项。


下一步何去何从?


对象存储已经在需要处理大量数据的云服务提供商和媒体公司当中赢得了口碑。但是它在其他公司方面的应用又如何呢?这项技术让公司得以收集关于客户的越来越多的信息。这些信息不仅来自交易记录,还越来越多地来自物联网设备。


应对大数据的这种不断涌入,并且能够解读数据,这意味着在这个十年底之前,对存储的需求会显著增加。不同调研公司的预测不一样,但是企业到时候存储的数据量可能是今天的30倍。这可能会推动越来越多的公司采用对象存储,因为它们在寻求解决方案来存储和访问收集而来的信息。


改用对象存储技术使得扩展起来更容易,需要的话,可以使存储量超过PB级。重要的是,无论大小如何,存储都被视作单一系统。但是可能尤为重要的是,对象存储减少了管理大量存储资源所需要的工作量。要是没有这项技术,存储将来需要的数据量会变得不切实际。


云头条编译|未经授权谢绝转载 


首届对象存储技术与应用大会将在京举行

由奥思数据(OStorage)和CIO时代网共同主办,中国新一代IT产业推进联盟任指导单位的“新存储,赢未来——首届对象存储技术与应用大会暨奥思数据OStorage-EOS产品发布会”将于11月16日在北京丽亭华苑酒店召开


届时中科院院士、工程技术专家、企业用户代表将齐聚一堂,共同探讨对象存储技术及其在各行业的应用,帮助企业应对未来的数据存储挑战,获得持续的竞争力。


那么“首届对象存储技术及应用大会”都有哪些精彩内容值得期待?


中国科学院陈国良院士出席会议并做主题演讲:陈国良院士是我国并行计算和分布式系统领域的学术泰斗,在“ 首届对象存储技术及应用大会”您将能够现场聆听他的演讲。

 

奥思数据、中电科五十五所、爱奇艺公司、Esri等大咖将同台献“艺”:在本届大会上除了能见到奥思数据的创始人兼CTO李明宇外,还将领略到爱奇艺公司科学家吴杰柯、Esri公司研发总监周宁和中国电科南京第五十五所技术总监宋学永等大咖的风范。

 

奥思数据OStorage-EOS产品发布:OStorage-EOS是奥思数据公司的企业级对象存储系统。采用软件定义存储技术,基于成熟稳定的开源核心,增加了高可用、多地域支持、监控运维、用户交互、集成与管理等功能,构建新一代企业对象存储平台。针对新应用需求,OStorage-EOS提供服务插件,在数据存储之上提供自动化数据预处理、数据加密等服务。


用户、厂商圆桌论坛共同讨论数据存储痛点和对象存储技术落地:由中钢集团信息部总经理李红主持,中国新一代IT产业推进联盟秘书长姚乐等用户和厂商代表参加圆桌讨论。


存储界名人张广彬,人称“狒哥”,担任会议主持:张广彬先生在存储领域造诣颇深,从传统存储到软件定义存储领域,他都有非常深刻的研究,多年来致力于企业级IT技术传播,他的主持经常起到画龙点睛的作用。

 

有个性的演讲,彻底拓宽你的视界。富有智慧性的技术型演讲带你进入全新的科技世界,那这些超拽的科技大咖将会带来怎样的演说呢?一起期待吧!

 

详细议程如下:

主持人:张广彬(企事录创始人)

时间

主题

嘉宾

14:00-14:20

时代需要信息技术创新

陈国良  院士

14:20-15:00

新存储,赢未来 -对象存储技术助力企业应对未来的数据存储挑战

李明宇(奥思数据创始人兼CTO)

15:00-15:20

基于对象存储管理大量GIS和遥感数据

周宁(Esri中国信息技术有限公司云GIS产品研发总监)

15:20-15:30

茶歇


15:30-15:50

爱奇艺的Swift对象存储实践

吴杰柯(爱奇艺公司科学家)

15:50-16:10

云存储助力职业化教育

宋学永(中国电科南京第五十五所技术总监)

16:10-16:50

圆桌论坛:企业数据存储架构展望

对话主持:

李红(中国中钢集团信息管理部总经理、第十九届北大CIO班班长)

16:50-17:00

抽奖,会议结束


关于对象存储

对象存储是解决当今日益突出的数据存储与共享问题的新一代分布式存储技术。


过去的数据访问,数据库和内部客户端访问是主流,采用文件系统模式过去比较合适:可以执行复杂的文件操作,规模和访问量有限。但如今,随着数据量的积累和访问方式的变化,文件系统正在成为瓶颈——文件数在千万以上,或者单个卷在百TB以上,文件系统就难以处理;同时企业需要更灵活地共享和访问数据,需要存储系统能够支持大规模并发、随时访问,并且能够实现跨数据中心的分布式存储。采用集中式的块和文件系统存储已经无法满足目前的需求。


对象存储就是基于这一需求被设计出来的,采用了扁平结构、服务化的API直接访问、分布式存储数据这三个关键技术,解决了海量数据存储的问题。


关于奥思数据

奥思数据科技有限公司(OStorage Inc.)是专业的企业级对象存储系统及服务提供商,中国开源云联盟的成员。团队成员来自中国科学院、领先的IT技术公司以及985高校,水平在国内外同行中被广泛认可,曾在东京和美国奥斯汀等地的OpenStack峰会、IEEE云工程会议发表技术讲座,产品经过严格的测试,并且已经在国内大型客户中有实际应用。


新存储, 赢未来!


相关阅读:

Gartner发布《对象存储关键能力》报告

Gartner:2016年分布式文件系统和对象存储魔力象限

为什么对象存储在蚕食世界?



点击“阅读原文”链接报名参会!
 

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存