科技进步一等奖,花落同方
近日,中国电子学会《2020中国电子学会科学技术奖、中国电子信息科技创新团队奖奖励公告》发布,由同方与清华大学合作完成的“高可靠自维护存储系统核心技术及产业化”项目荣获科技进步一等奖。
存储、计算和网络是信息系统的三大部件,存储系统承载数据,支撑计算,已成为大数据时代网络空间安全的核心基础设施。长期以来,存储市场一直由国际大厂所主导,研制具有自主知识产权的国产存储系统势在必行。
同方“高可靠自维护存储系统核心技术及产业化”项目立足于存储技术发展的现状与存储器件的进展,聚焦存储效率与数据可靠性之间的矛盾以及存储系统规模日益增大所导致的维护成本不断增长等问题展开了系统性的技术攻关,在国际上首次实现了基于 32+16 纠删码、能满足实际应用需求的高可靠自维护存储系统,取得了以下重大技术突破,实现了真正意义上的自主创新。
项目部分成果已通过鉴定,由 9 位院士组成的鉴定委员会认为,“系统技术先进,研制难度大,功能完整,运行稳定,总体达到国际先进水平,其中纠删码计算量削减方法和基于浮动数据块组织的快速自愈模型达到了国际领先水平”。项目曾获“清华产业 2016 年度十大创新项目”、中国计算机行业协会“2019 年度中国专用存储行业发展成就奖”
项目研发的 TStor 存储系统已成为同方企业级业务拳头产品,在国家气象中心、内蒙古和林格尔新区等单位得到应用,推广至国家计算机网络与信息安全管理中心、招商银行、中国移动等单位,支撑了金融、电信、航空航天、政务、科技、教育、电子商务等重要行业,社会和经济效益显著。
围绕上述工作,项目获各类专利授权 50 项,其中美国发明专利 1 项,中国发明专利 39 项;申请软件著作权 23 项;发表学术论文 40 篇,其中 FAST、ASPLOS、TPDS、IEEE TC、ACM TOS 等权威会议和期刊论文 18 篇。
基于大规模纠删码的高可靠自维护技术
利用大规模纠删码,解决了存储效率与数据可靠性之间的矛盾,降低了系统维护成本,做出以下创新:提出了一种纠删码计算量削减和并行实现方法,最高可减少 41.6%的计算量,计算效率最高提升超过1个数量级,从而解决了大规模纠删码因计算量过大而不能满足存储需求的(实用化)难题;发明了一种数据几何划分和布局方法以及支持数据快速自愈的浮动数据块组织方法,避免了错误累积,将数据恢复过程对应用性能的影响限定在2%~5%以内;提出了一种基于云的连续数据保护机制,通过差量同步、即时恢复索引、基于语义的数据恢复优化等措施,大幅降低了容灾开销。
数据的高效存取与一致性保障技术
发现了 RDMA 数据传输的不对称特性,设计并实现了全新的高效 RDMA 编程模式,极大地提升了读写速度;对数据和服务的一致性维护技术进行了系统性研究,所提出的基于纠删码的分布式共识协议 CRaft,可节省 66%的存储开销,提升 2.5 倍的写吞吐,降低 60.8%的写延迟,所设计的针对 RDMA 和非易失性内存(NVM)特性的一致性协议,可提升 40%的性能;提出了以解耦合为核心的 NVM 事务处理机制 DudeTx,综合了 redo 和 undo 两种机制的优点,将性能提升 1.7~4.4 倍。
分布式存储系统的构建技术
从产品设计、资源组织和服务供应等方面对存储系统的构建进行了全方位的探究,实现了对龙芯、申威、飞腾处理器和麒麟操作系统的支持,具体创新包括:
▶提出了一种高密度的存储服务器技术方案,设计了硬盘外骨架固定结构、固定支架以及数据面 板、配线架等,保证了产品的实用性;
▶提出了不同存储介质的层次化组织方法和对应的数据划分方法以及面向 NVM 的数据结构 RNTree 以及异步使用架构,其中介质的层次化组织和数据划分方法最高可获得 4 倍的加速比,异步使用架构可获得 5~12 倍的性能提升,从源头保证了存储系统的扩展性和访问性能;
▶提出了一系列的缓存放置与管理方法,进一步提升了不同应用场景下的数据访问性能,最高可减少 50%以上的内容访问延迟,获得 5~20 倍的任务性能加速,可满足多种应用需求。
创新是引领发展的第一动力。抓创新就是抓发展,谋创新就是谋未来。同方计算机作为中核旗下专业从事信息技术产品研发生产、服务的高科技民族企业代表,一直致力于自主创新驱动,积极践行中国计算机产业先锋队的使命与担当,加快突破计算机核心关键技术,推动计算机领域产学研结合和技术成果转化,为国家信息安全保驾护航。