作者 | 刘丹
责编 | 阿秃
出品 | CSDN云计算（ID：CSDNcloud）
人类以日新月异的速度刷新着科技的成果，其中存储的发展历史尤其悠久，堪称万年进化史。自文明诞生以来，我们就一直在寻求能够更有效存储信息的方式，从4万年前的洞穴壁画、6000年前泥板上的楔形文字，到今天普及的SSD/闪存，再到对量子存储、DNA存储技术的探索，脚步从未停止。据IDC预测，2025年全球数据将有175 ZettaBytes的总量。如此惊人而又庞大的数据量，为存储市场带来机遇的同时，也带来了不小的挑战。过去几年，云计算市场的持续狂飙式发展，对传统IT企业竞争格局带来了不可逆转的变化。其中，存储的发展历史最悠久，在30多年的发展，迭代出多种存储产品。众所周知，过去半个世纪，摩尔定律始终贯穿着IT产业的发展。如今，随着大数据、人工智能、IoT领域新技术的涌现和应用场景的多元化，摩尔定律已无法满足太多变数，而存储市场的变化，恰好证明了后摩尔定律时代的到来。“善变”的存储市场，也正因为数据时代下的种种变化而得到了飞速的发展，这些变化来自于30%年化增长的数据海量化；5G速率增长20倍与30%的实时数据， 所带来的速度化；80%非结构化与AIOT多种来源的多样化；时刻需要加强的准确化；以及亟待解决的价值化。对此，阿里云存储负责人吴结生总结道，“善变”的存储市场，唯一不变的是变化。应对数据时代的变化，阿里云存储为用户提供了块存储、文件存储与对象存储三种上云方式，保证用户拥有更多选择与更多路径；更有诸如数据备份与恢复、冷热数据分层、无缝访问本地与云端、多分支机构共享在内的混合云存储，助力企业无缝上云；并通过全链路加密、密钥可控与日志透明化的技术，为用户提供可靠、可控、可见的数据保护。综上，阿里云存储不仅提供了最为完整的存储产品与服务，其多元的数据应用场景，丰富的数据管理服务，真正做到了“客户第一，需求至上”。为了满足企业针对不同业务的多样需求，现代存储行业历经30多年的发展，迭代出多种存储产品。例如为解决早期数据增长而出现的DAS和SAN，为解决核心应用高稳定性和高性能而出现的高端存储，为处理非结构化数据而产生的NAS和对象存储，为满足弹性部署而衍生出来的软件定义存储……为了更清晰地探究出云计算时代存储技术的发展路径以及所应对的挑战，阿里云存储业务负责人吴结生，根据阿里云在存储领域的发展经验，为我们梳理出存储技术的发展与应用方向：第一，存储与计算的分离。随着数据处理对存储需求和计算需求在规模、速度、容量和成本等维度的不断变化，计算与存储分离可以最大限度地解耦这两类不同的关键资源，使得各自相对独立地扩展和演进。首先，通过解耦，计算与存储这两方面可以在云数据中心分别独立扩展，提供调度和资源共享的灵活性，提高资源使用效率，降低成本。其次，计算和存储的技术演进空间变大，可以更加灵活的针对不同的负载进行优化。再次，网络技术的高速发展、个位数微秒的延时（latency）、百G级别的带宽、服务器之间的边界越来越模糊，使得计算和存储分离、分布式存储等架构在稳定性和性能等领域变得更加高效和有生命力。第二，标准化、服务化与开放化的演进路径。首先，提供诸如块存储和文件存储等标准化的存储方式，这些类型的存储具备标准化的接口，使客户能够直接迁移数据，避免了应用的大量修改；其次，向服务化的方向发展。在传统的存储模式下，用户需要大量的设备管理与维护升级，而在云计算时代，云存储将其演化成一种云服务，用户只需要关心自己的业务逻辑与创新即可；另外，更加开放。存储云服务提供很多管理与控制的API，现在将其开放出来，使得用户可以通过编程调用API，管理与监控存储资源，以及实现跨平台的管理。第三，垂直领域和典型场景的深度集成设计。数据库、大数据处理和分析、人工智能、容器等领域具有自身的特点，所以存储技术针对以上典型场景也进行了相应的集成设计，结合场景的特点进行适配和优化，提高与场景结合的端到端优化能力和存储的效率。对于企业和用户而言，使用云计算有着诸多好处，云提供了灵活的弹性伸缩、弹性存储容量、安全可靠、高可用性和稳定的性能等能力。但是，云存储在发展的过程中也面临着诸多挑战，为满足云时代发展的需求，吴结生为我们总结了新一代存储要不断演进，跟上需求演进的变化，进一步通过技术牵引去创造更多的变化。容量海量化，需要持续的成本优化技术来满足数据的爆炸式增长需求；存储速度化，读写速度和数据处理速度不断加速；数据来源和数据形态越来越多样化；数据是新石油，是数字化经济的基础；存储需要加强数据清洗、数据安全、数据处理方面的能力，提供真实、可信和安全的数据，帮助企业或机构挖掘数据的价值，实现数字经济中数据价值。针对这五个方向和不断演进的需求变化，阿里云已在存储领域完成全面布局，包括块存储和对象存储在内的云上存储家族，混合云存储阵列、混合云备份和容灾的混合云存储服务，以及高性能分布式存储和数据库存储等典型场景存储方案。了解了云时代存储的发展路径过后，接下来不妨让我们看看阿里云存储的技术演进历史，从而更直观地了解云存储在数字化转型中的核心价值。作为阿里云飞天系统中极其重要的一环，阿里云存储不仅满足了“双11”等大规模业务场景对存储系统的超高要求，提供丰富完整的公共云和混合云存储产品矩阵，还通过客户数据中心和边缘局点到云上的整体存储解决方案，打破了数据存储和流通的边界，满足了企业的多样化需求，为企业数字化转型提供了数据核心价值。 “越过山丘，才发现那里已无人等候......”，这是去年阿里云存储新品发布会中的一句话。这句话低调地彰显了阿里云的领导者地位，也恰好是阿里云存储在成长道路上坚守与收获的写照。| 2008年，为了探索阿里巴巴集团大规模存储解决之道，阿里云存储团队应运而生。| 2009年，阿里云分布式存储引擎1.0（盘古PanGu）正式发布，为弹性计算虚拟机、阿里金融、邮箱、搜索提供通用存储服务。| 2013年，阿里云分布式存储系统实现单集群5000台服务器规模的部署，服务阿里巴巴电商业务和蚂蚁支付宝业务。| 2015年，成功实现了单集群10000台服务器规模的部署，拥有云计算产业中最齐全的存储产品线，成长与效率跃居榜首。同年还打破了Sort Benchmark世界记录，100TB排序完成时间仅需377秒。| 2016年，CloudSort项目中，阿里云以1.44$/TB的成绩获得Indy专用目的排序和Daytona通用目的排序两个子项的世界冠军，打破了AWS在2014年创造的纪录4.51$/TB。| 2018年，面向人工智能、科学计算、深度学习等未来存储场景，阿里云分布式存储引擎2.0正式发布，这不仅证明了阿里云存储历经十年的超强能力，更意味着阿里云存储再次引领了云存储与企业存储、传统存储的破局之争。| 2019年，阿里云携ESSD高性能云盘，领跑微秒存储时代，正式吹响了进军企业存储市场的号角。阿里云存储在十一年的发展历程中，不断推出重磅新品与取得傲人成绩，绝不仅仅是为了快速追赶业内标杆厂商。更重要的是，彰显了阿里云为满足全球用户的业务需求，所沉淀的独到见解和创新。随着更多贴近用户应用的数据管理功能的推出以及生态的构建，我们可以感知到阿里云存储背后的思考。在安全方面，对象存储服务在国外成熟市场得到广泛认可，很多企业的核心业务信息都存储在上面。但是在中国，对象存储的普及度还有待提升，数据安全的加强有助于改变这一现状。对此，阿里云对象存储也在更新重点，剑指数据安全。据了解，阿里云存储全线产品都具备全面的“数据加密”能力，其中对象存储OSS提供包括KMS密钥、BYOK密钥、OSS托管密钥等5种加密方式，完成服务端数据加密和客户端线下加密等多种灵活形式。在性能方面，随着全闪存的普及和高性能网络的发展，数据中心进入“微秒时代”。起初，10万IOPS已是非常高的性能；而十年后的今天，百万、千万IOPS已经成为多家厂商宣传的主题词。据介绍，作为全球首个百万IOPS的企业级云盘，阿里云ESSD搭配ECS云服务器使用，可提供单盘高达100万IOPS的随机读写能力，单路写时延 100 微秒。相比前一代的SSD云盘性能提升了40倍，读写时延降低了70% 。同时，ESSD云盘支持不停机扩展容量、不停机提高IO读写性能上限、数据加密等高级数据服务功能，具备企业级存储的前沿技术创新能力。在数据智能管理方面，打破数据孤岛以形成有效的联动成为当务之急。对此，阿里云提供了丰富的数据管理功能，通过数据分析系统挖掘数据价值。其中日志服务的AIOps分析功能面向趋势预测、异常发现、智能聚类和根因分析四个场景，提升DevOps分析和诊断的效率，帮助运维人员提前配置资源，提前预测、发现和解决常见故障。在降低成本方面，每年双11创造奇迹的背后，是巨大的成本投入；另一方面，在数据时代，随着各种大数据处理框架不断涌现，成千上万的数据分析需求背后是大量的计算任务，占用了大量的计算资源。此时，阿里云数据中心利用混部技术，将集群混合起来，将不同类型的任务调度到同一批物理资源上，通过调度、资源隔离等控制手段, 在保障SLA的基础上，充分使用资源，极大降低了成本。化挑战为机遇，阿里云存储营收过去三年增长超过10倍，存储容量增长12倍，其中SSD容量增长超10倍。十余年的存储进化，让阿里云更新迭代了涵盖公共云、混合云和边缘计算在内的全球最完整存储产品线，面向万物智能时代，定义下一代存储，更安全、更稳定、更优化、更智能，让用户无缝上云。十年双十一背后的磨砺：场景越复杂 越不容有半点差池跟随十年阿里云存储进化史，可以发现每一年阿里云存储都有所变化，从2008年飞天启航，经过十年演进，到2019年，盘古单集群超10万台ESSD，OSS同城冗余。我们可以清晰看到其发展过程中，四条主线贯穿始终，第一，规模化不断加大；第二，对可靠性的追求；第三，便捷性，大量产品、服务与协议，帮助用户更好地使用云存储；第四，软硬一体的发展，各种新型设备都尝试做好软硬一体。阿里双十一就像是一个练兵场，2009年，700万交易额峰值交易400笔/秒，2018年，2135亿交易额峰值交易49.1万笔/秒。吴结生强调，十年双十一告诉我们，场景愈加复杂，挑战越来越大，却更不能有任何差池。也正是因为阿里云存储团队始终坚持着“今天最好的表现就是明天最低的要求”的信念，使得双十一、云存储乃至整个阿里云都在不断突破挑战，创造奇迹。2018年11月，再次以 2135 亿元成交总额创造商业奇迹，10年每秒交易笔数创建1227.5倍进化，其瞬间的流量高峰冲击与庞大的成交额背后，离不开技术力量和全局基础设施的支撑。其中，对象存储 OSS、文件存储 NAS、表格存储 TableStore、日志服务 SLS 成为了数据计算和存储的顶梁柱。作为微妙时代的极致云盘ESSD，使得过去业务峰值压力、硬件潜能风险与业务增长，所带来的SSD云盘不够快、本地盘可靠性以及无法扩容的窘境统统解决，取而代之的是100微妙延迟、可靠性提升百万倍，更提供在线可容、灵活挂载。盘古 2.0 作为新一代存储引擎，在云存储、大数据计算和分析、数据库、流式计算、和搜索等众多领域展现了卓越的实力，保障了双十一的十年进阶之路。安全可靠、灵活可扩展、最佳实践的存储，作为阿里云存储的三大优势助力其创造更多奇迹。如果说2018年阿里云是在布局企业级存储的话，那么2019年阿里云则正式吹响了进军企业存储市场的号角，各项新品的发布，使其线上线下的存储边界正式被打破。阿里云增长最快的存储产品ESSD 映射出飞天盘古2.0的十年极致进化企业核心应用上云对存储的需求是高可靠、高性能、弹性扩展与简化运维，而对于存储系统同时达到以上四种需求，挑战巨大。ESSD作为服务企业核心业务场景的极致云盘，却能完美的兼顾以上四种需求。ESSD的时延相较于SSD降低70%，实际业务场景性能加速显著，只需一步完成快照策略设置，单盘快照个数扩展到512，超强的性价比更支持全球可买，使得60%的阿里云头部客户都在使用ESSD。简单来说，ESSD相当于一个千万平米的巨型数据仓库，自带时速超过120公里的超级高速，仅需1秒就可以完成1部高清电影的传输和存储。根据阿里官方公布的数据，通过ESSD，上海振华重工加速SAP HANA上云，性能提升3倍的同时，成本降低30%；微博加速弹性扩容，弹性能力提升3倍，以应对高流量事件；一下科技交互响应速度提升100%。商业化1个月，ESSD成为增长最快的存储产品，而这背后要得益于飞天盘古2.0十年的极致进化的技术支持，深度融合的软硬一体化，灵活高效的分布式架构与算法，经受阿里经济体核心业务系统与“双11”的锤炼，使其成为了最耀眼的那颗星。如今，人工智能的高速发展，彻底改变了人类的工作方式、生活方式和思维方式，也实现了生产力的整体跃升和社会治理的新变革。随着计算力的不断突破，人工智能的技术也在日趋成熟，越来越多的企业开始将人工智能技术融入行业应用中。而作为传统行业的存储，经历了一轮又一轮技术市场洗牌，而今面对人工智能技术时，又将如何撬动市场的新需求呢？对此，吴结生表示，在与人工智能的融合中，阿里云存储正在做两方面的实践与探索：一方面是思考人工智能技术如何运用到存储系统中；另一方面也在践行存储系统如何更好地服务和支持人工智能计算，从而更好地普惠人工智能技术。两者相互融合，共同促进。借助人工智能技术，在磁盘、服务与网络等硬件故障的检测中，可以更加准确地预测到故障的发生。在遇到网速变慢等异常状况时，可以做到及时有效的规避，从而使得产品更加稳定，大大降低长尾延迟现象；在智能负载均衡与调度中，利用人工智能技术，能够提前进行负载均衡，避免热点与不均衡；在数据的置放策略中，可以根据对冷热数据的分析判断，以及客户访问的规则与模式，将不同类型的数据进行分类，安排不同的置放策略，从而提高总体系统效能，以便实现更加智能的分级存储（Tiering）。同时，阿里云针对机器学习与人工智能计算的场景，推出了高性能并行文件系统（CPFS：Cloud Parallel File System），已经广泛应用于智能驾驶、生命科学和基因计算等场景。CPFS也被广泛使用在高性能计算领域，与阿里云的弹性高性能计算（E-HPC）一起提供服务化和商业化的高性能计算，不仅如此，还承担了“国之重器”之一的“天眼”工程（500米口径球面射电望远镜 FAST 系统）的存储解决方案，助力人类对宇宙的不懈探索。另外，随着图片和视频内容的不断产生，急需对其进行智能的分析，阿里云的智能媒体管理系统（IMM）将先进的分析算法与存储相结合，通过简单便利的调用接口，使得中小客户也可以享用到阿里云和达摩院的人工智能能力，普惠人工智能技术。这些智能服务能力也经历了“双11”场景的打磨，积累的最佳实践转化为产品的能力，复制到更多的客户。人工智能可以激活存储的新变革，而借助存储来服务人工智能计算，又能够让人工智能走上普惠的道路，这样相辅相成的融合可谓绝妙。可预见的是，存储技术将会与人工智能技术不断融合，这也有利于存储技术的更新换代，更好地支撑业务的快速发展，最终具备技术扩展业务边界以及业务向技术拿红利的能力。另外，阿里云存储将高性能存储网络作为分布式存储的基石，联合整个阿里云网络和基础设施团队进行迭代式创新，从25G的网络到现在的100G网络，高性能存储网络已经取得了很大的进步，在稳定性和性能方面将会持续创新。最后，在数据中心级别的均衡规划中，还需要更高级别和更大规模的设计。谈及阿里云存储未来的部署与计划时，吴结生强调，为客户创造更多的价值才能让阿里云更有价值。在快速迭代的技术面前，阿里云存储以稳定、安全、可靠为立身之本，并利用智能技术的新元素赋能存储，以普惠智能决策与智能计算。不难看出，阿里云存储的创新活力，不仅拓展了云存储的边界，更在广阔的企业级存储市场中创造了更多的可能。从此，存储不再是性能的瓶颈，在快速迭代的技术面前，阿里云存储以稳定安全可靠为立生之本，并用不畏挑战与超高要求，去打破种种瓶颈，从而创造更多奇迹。扫描添加小编微信，备注“姓名+公司职位”，入驻【CSDN博客】，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！
推荐阅读：