查看原文
其他

官宣!网易数帆自研大数据基础平台,筑牢自主可控“数字底座”

网易数帆 网易数帆
2024-09-11


6月20日,网易数帆宣布旗下产品有数大数据基础平台(NetEase Digital Sail Youshu Data Hub ,以下简称NDH)即将发布。

有数大数据基础平台NDH是网易数帆最新推出的企业级大数据基础平台。该产品基于最新开源技术打造,内置多种存储计算引擎,并在Hadoop、Spark、Impala等多个核心组件做了功能及性能增强,新增Easyeagle实现智能运维和任务治理,支持企业级安全管控。

结合网易内部在大数据领域多年的沉淀积累,有数大数据基础平台NDH不仅支持对核心代码的完全掌控,并且适配信创软硬件生态,可以更自主化、便捷化、智能化地提升企业数据运维效率,在加强数据安全保障的同时,筑牢企业智慧型“数字底座”。

为什么要做NDH?


当前国际环境仍复杂严峻,某些前沿技术还是有受到国际管控的风险,实现关键技术自主化、国产化,有助于更自由地实现技术创新。


据信通院的统计信息显示,有超过90%的企业场景都在使用如HDP、CDH或者一些开源平台自主搭建的大数据基础平台。今年3月CDH停服后,软件后续的升级、维护更是受限。

掌握关键核心技术对推动我国经济高质量发展、保障国家安全都具有十分重要的意义近年来政府部门也相继出台相关政策,鼓励国内厂商进行国产化和自主化的软件研发。

身处数字经济时代,企业也直观感受到,国产化替代,并不只是简单地替换国际厂商的软件和IT系统,更需要有自主可控的平台建设能力。

打造自主可控、迁移平滑的

企业级大数据基础平台


网易数帆从企业角度出发,在满足企业数字化转型的同时,实现国产化系统的自主可控此次新发布的产品有数大数据基础平台NDH,致力于打造自主可控的数据底座,并实现易用性、稳定性、安全性等的全面升级。

亮点优势主要体现在以下两方面

一、自主可控:强大的自主研发能力,兼容各类国产软硬件


在开源技术的基础上,有数大数据基础平台NDH分别对Spark、Impala、Hive等多个大数据领域核心的组件进行了技术增强与安全保障可实现对整个Hadoop基础平台核心代码的完全掌控。同时,平台还适配了信创软硬件生态,可兼容国产数据库、华为鲲鹏等系列芯片、麒麟操作系统(v10)所有组件的部署应用支持在华为云、阿里云、腾讯云等场景下云化部署,满足企业全信创类需求。


二、支持平滑迁移:提供卓越稳定的迁移方案,实现平滑迁移


有了新的平台之后,企业对于迁移是否平滑,影响范围多大十分关注,尤其是金融、政府类企业。这不仅因为大数据基础平台的迁移需要花费人力、时间等较大成本,稍有不慎,还会导致数据丢失、业务难响应等问题其次,迁移后上层的应用系统是否可以与替换的底层平台完美兼容,与其他国产组件是否能实现生态兼容,实现兼容后是否可以快速响应业务发展需求等也是企业关心的问题。

因此,基于网易内部多年平滑迁移方面累积的实践经验,网易数帆制定出一整套平滑迁移的落地方案。


网易原厂迁移服务

整体迁移方案制定结合业务场景,在通用迁移方案基础上根据实际业务诉求进行针对性方案调整,满足业务实际需求。

迁移过程基本不停服

整个迁移过程原集群正常工作,权限/任务在验证成功之后逐步迁移到新集群,整个过程基本不需要平台整体停服。

迁移所需资源可控

个迁移过程中任务是逐步从原集群迁移到新集群中,在迁移的过程中计算资源也可以逐步进行迁移。

迁移风险可控

整个迁移在方案上针对每个阶段都会有完整的迁移验证,部分阶段会灰度迁移,争取将风险降到最低。


这也使得在对业务不影响或者影响时间较短(< 10 min)的情况下,可以完成整体平台迁移到有数大数据基础平台NDH,真正实现对业务侧不造成影响。此外,迁移完成后,有数大数据基础平台NDH还将为企业提供额外收益,IT系统自动升级成存算分离架构建设,分别提升存储、计算机器的资源利用率,助力企业降本增效。


实践支撑,

NDH实现组件功能的全新升级


通过自主创新,网易数帆已研发出包含有数大数据基础平台NDH在内的多项大数据相关产品,并已在内外部实践应用。同时,此次发布的有数大数据基础平台NDH不仅可灵活兼容Hadoop体系组件,还实现了全新的功能增强,主要体现在以下三方面:


一、开发便利

通过企业级数据湖探索平台Kyuubi ,企业可以像使用HiveServer2一样开发SparkSQL:Spark作为整个大数据计算领域最流行的计算框架,相比原先常用的Hive,在计算性能和资源利用方面有很大的提升,但大部分用户很难改变Hive模式下的使用习惯。有数大数据基础平台NDH组件支持用户保留原有习惯和模式,基于Spark计算引擎上构建的SQL查询引擎,支持多租户隔离等特性,更好地实现分析计算。


二、安全稳定 

增强Impala,具备高可用和隔离能力建立基于虚拟数仓的隔离环境,支持对于同一集群中的不同节点进行分组,不同workload的业务配置不同的分组,避免业务之间相互影响;增强HDFS,尽最大可能保障数据和服务安全。有数大数据基础平台NDH组件可提供类似回收站的功能,支持用户恢复数据,避免因误操作而造成数据损失。


三、智能运维

通过Easyeagle,让任务诊断不再遥不可及:大数据级别任务性能监控APM(Application Performance Monitor)。通过唯一标示串联任务下发流程,精准高效定位任务运行失败原因。


其中,智能运维作为平台的一大创新点,是指基于任务的运行链路建立完整的任务分析系统系统会将任务与机器的资源进行串接,运维人员可以快速定位到任务执行过程中涉及到的硬件资源。比如,某台机器由于 I/O的高利用率或者CPU的高利用率,导致任务的差异化反应。通过有数大数据基础平台NDH的智能故障分析系统,运维人员可以快速从任务层面查询到背后的原因,反过来也可以从整个机器的层面,反查出机器故障影响了哪些任务的运行,让任务诊断变得快速便捷和直观。

作为一家数字化转型技术与服务提供商,网易数帆一直以来都坚持关键IT技术研发与创新,积极参与基础软件的国产化研究未来,网易数帆将继续坚定地走自主研发之路,持续技术创新,为企业IT高效、平稳运行保驾护航。

对有数大数据基础平台NDH感兴趣的朋友们,可以戳下图点击阅读原文观看产品发布会现场回放视频。


或添加小助理微信进行产品咨询
将有专人为您解答


推荐阅读:




继续滑动看下一个
网易数帆
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存