鲲鹏凌云 泰山聚势 | 江苏电信构建全球首个基于鲲鹏处理器的运营商大数据平台
技术创新敢为天下先
率先实现基于鲲鹏处理器的
开源大数据平台混合部署
江苏电信大数据平台承载着江苏电信所有生产系统的运行数据、存储及分析,是江苏电信最核心的业务系统之一,对计算性能、并发处理能力、运行稳定性都有极高的要求。经过多次方案论证和性能测试,江苏电信最终选择基于鲲鹏处理器的华为 TaiShan 服务器和开源 Hadoop 软件构建大数据平台。
江苏电信基于开源 Hadoop 大数据平台
此次项目中,江苏电信携手华为团队,完成基于鲲鹏处理器的开源 Hadoop 源代码编译,重建 RPM(软件包),并调优 Hadoop 参数等工作,并实现 Ambari、HDFS、YARN、Mapreduce、Tez 等关键的大数据业务组件在华为 TaiShan 服务器上的成功部署和运行。在集群部署的具体方案上,双方在原有集群上实现了传统架构服务器和 TaiShan 服务器融合部署。
Ambari 管理平台,部署 Hadoop 组件的 TaiShan 节点视图
大数据平台上线后稳定运行,根据实际测试数据显示,相比传统服务器,TaiShan 服务器的大数据批量执行能力显著提升,完全满足了运营商系统商用的性能和可靠性要求,证明基于鲲鹏处理器的 TaiShan 大数据方案在电信领域的大规模商用已经成熟。
鲲鹏多核架构
实现高性能的运营商大数据平台
华为 TaiShan 服务器所搭载的鲲鹏处理器具有高性能、高带宽、高集成度、高效能四大特点,尤其是单芯片最高可提供的 64 核计算能力,完全匹配大数据计算场景下的高并发 IO 负载特征。
从具体性能方面来看,鲲鹏处理器计算效率提升 2.5 倍,网络读取性能提升 4.75 倍,网络写入速率提升 2 倍。原有传统服务器大数据集群整个业务过程耗时接近 2 小时,接入 TaiShan 服务器混合部署后,耗时减少至 1h 左右。
基于鲲鹏处理器的华为 TaiShan 服务器
江苏电信携手华为
加速共建鲲鹏产业生态
本次项目工程结合江苏电信大数据业务特点和未来演进趋势,充分发挥鲲鹏处理器的多核高效能优势,有效提高数据存储、计算等资源的使用效率,为江苏电信的市场营销、客户服务、运营管理等业务提供更精确、多样化的数据分析。同时,实现了江苏省市一体的数据共享方案,充分挖掘电信智能管道和海量数据资源的价值。
江苏电信顺应中国电信改革的步伐,携手华为积极开展鲲鹏计算平台在运营商领域的商用验证和实践,取得了丰富的成果,对于行业指引有重大意义。未来,江苏电信和华为将继续紧密合作,在运营商领域加速共建鲲鹏产业生态。
阅读原文,了解更多鲲鹏计算产业论坛信息