查看原文
其他

星环大数据云平台TDC——新一代大数据产品形态

星环科技 2022-07-17

在5月3日举办的用户大会上,星环科技揭开了新一代智能大数据云平台Transwarp Data Cloud(简称TDC)的面纱。这是星环首次结合大数据平台Transwarp Data Hub、云操作系统Transwarp Operating System、人工智能平台Transwarp Sophon分别在大数据、容器云平台和人工智能领域的技术累积,所研发出的具有开创性的大数据云平台产品,它将为企业提供高效的基础技术平台,实现自动化的数据生态构建,赋能创新性业务发展,促进数据和应用的生态建设,加快商业的数据化转型。

TDC是星环在数据时代的前行下,对于大数据产品传统形态的大胆改革和突破。


TDC的产品架构

TDC的架构由底至上分为四层:原生平台层、服务管理框架、服务应用层、控制平台。

原生云平台:TDC底层是星环原生云操作系统Transwarp Operating System(TOS),结合Kubernetes和Docker技术为云上的大数据应用部署、资源管理提供全方位的支持。

服务管理框架:提供包括安全保护、多租户管理、微服务管理、计费系统等服务在内的云平台基础架构。

服务应用层:包含TDH和Sophon中的所有产品组件,以云产品形式提供大数据处理和AI服务。

控制平台:最上面是基于Web的统一管理入口,是让租户与用户快速部署大数据产品的可视化平台,提供了项目管理和权限设置的接口。


三种服务支撑框架

同时TDC还实现了数据AI模型工厂、数据资产服务、数据服务治理这三种高级数据服务支撑框架,服务于企业数据生态建设,帮助加速数据业务创新。

AI模型工厂:对数据分析的模型化处理,将AI模型直接部署为API服务从而提供在线调用。目前通过这种方式提供机器学习服务已逐渐成为一种趋势,让用户自主进行模型训练和预测,可以更方便的创造和共享模型,使机器学习和人工智能平民化、普惠化。

数据资产管理:提供目前市场上稀缺的具有应用价值的数据资产管理功能,并采用机器学习算法自动分析数据,提供数据表管理,帮助企业对内部的海量数据进行归一化、资产化,使数据资产管理不再受限于手工的管理方式,为价值创造提供先决条件。

服务治理:提供客户应用上架和管理服务,让用户在同一个平台完成应用开发、测试、部署的完整应用开发过程,从而利用数据资产创造价值,同时进一步促进构建新的数据资产。


开箱即用的大数据产品

TDC在服务应用层内置与大数据和人工智能相关的共七种产品,覆盖数据处理与分析所有常见场景。这些云产品由星环大数据生态中的基础组件构成,开箱即用,提供完全自动化的构建、部署、安装。

数据仓库:一站式数据仓库服务,提供数据整合、加工、分析等全套数仓构建服务,帮助企业成功打造数据核心。

深度学习:人工智能开发平台,使用户从无到有进行模型训练和预测,实现AI应用的开发,对各类数据进行高度智能化的处理。

实时处理:云上的流处理分析平台,对流数据进行实时采集和处理,构建实时数据仓库和实时应用,高效的挖掘流式数据价值。

数据集市:面向部门级的数据分析业务,提供包括交互式分析、OLAP Cube引擎、报表工具和调度工具,支持自动化的报表应用构建。

搜索引擎:对PB级别数据提供高速全文检索服务,支持高并发,冷热数据隔离,以及字段精确、模糊检索和快速统计功能。

关系数据库:构建企业关系型数据库,处理OLTP业务。支持复杂SQL查询,提供高稳定、可扩展、强一致保证。

数据分析:提供丰富的数据挖掘功能,内置60余种分布式机器学习算法和行业模型,实现数据到信息的转换。


多租户管控

TDC管理平台围绕项目、租户、用户等概念,实现权限和资源的合理划分与管理,由统一管理平台对多租户提供服务。

TDC通过容器技术实现了多租户间的应用隔离、数据隔离、资源隔离、运行隔离,即使在同一平台上,彼此之间也完全透明,像运行在不同的基础架构。


精确计费

TDC构建了精准的计费架构,保证计费数据的准确性、安全性。同时该架构具有高可用、可扩展的性质,能够做到近实时的数据计算。

TDC平台为用户制定了合理透明的计费标准,分为硬件资源、大数据软件、数据服务、第三方应用四种费用类型进行计费。同时灵活支持多种计费单位,实现公平的计费模式。


图形化运维

为了在租户内部和平台实现统一的日志综合运维管理,TDC在租户平台部署了日志管理组件Milano和指标监控系统Prometheus为系统提供智能化运维服务,实现以下六种功能:

  1. 健康状态检查

  2. 日志分析和检索

  3. 硬件资源监控

  4. 服务监控

  5. 事件告警

  6. 可视化状况分析


多样的数据业务解决方案

TDC能够以公有云、私有云、混合云和数据服务云的形式为不同体量、不同业务类型、不同运作模式的企业提供针对性的服务,满足企业对大数据云平台的多种需求。

企业私有大数据云

TDC可以以私有云的形式部署在大型企业内部,实现定制化的数据云平台。用TDC构建大数据私有云平台有助于集中数据资源和计算资源,打通企业内跨部门跨区域的数据,完成数据整合以及数据模型的统一构建,满足各个业务部门和分支机构对数据分析服务的需求,提高企业的数据处理效率,更好的服务于业务创新。

行业大数据云

TDC还能够以公有云的形式提供计算资源、数据、模型、开发环境和应用,服务于行业内其他的企业和组织。业内其他各机构和组织可以以租户的身份租赁数据和资源服务,自主快速的构建应用,产品可立即创建立即销毁,按需付费。TDC将保证租户间完全隔离,数据和资源安全可控。

混合云 

同时,TDC也可以用于混合云的构架,对于特定的需要对外提供服务的私有云企业,TDC支持接入公有云IaaS服务从而在业务高峰期提供良好的弹性扩展、精确计费等能力,提高企业的服务响应能力。

数据服务云

拥有丰富数据资源的企业可以利用TDC构建数据服务云,提供包括公共数据、报告、公共模型在内的服务,为合作伙伴提供数据探索和分析服务。企业合作伙伴可以以租户的方式租赁该企业的数据和资源服务,按需计费。


迎合大数据时代发展

作为大数据技术产品化发展的领导者,星环科技在数据与业务云端化的浪潮下,借助在大数据技术上已经积累的经验优势,积极拓展更广阔的技术领域,并促进多方面技术的融合。Transwarp Data Cloud诞生于大数据、人工智能、云计算三者共同蓬勃发展的时代背景下,它将作为这三个领域相互融合的代表性产品,重新定义普通企业处理、应用、开发数据的方式,改变大数据产品的使用和未来演进形态。




点击或回复关键词,查看相关内容


公司

简介 | 星环科技成长大事记

投资 | 星环科技获腾讯领投2.35亿C轮融资

新华网专访 | 中国科技企业应培育和掌握核心技术

大会 | 新华网带你视频回顾2018星环用户大会


产品

产品 | 星环的划时代版本-Transwarp Data Hub 5.0

TDH社区版 | TDH社区版提供官方下载

评测 | 通关TPC-DS,中国数据库领域首破纪录诞生!

流式计算 | 用Slipstream构建复杂事件处理应用

Holodesk | 业界最强的SQL引擎为何这么快?

培训 | 学完这些课程,你也是大数据专家了!

认证考试 | 数据中心联盟—星环联合认证体系首次认证考试报名中


技术

技术 | 原创技术干货大合集!

技术支持 | 最完整的星环技术支持体系

评测 | 通关TPC-DS,中国数据库领域首破纪录诞生!

白话大数据 | 白话大数据合集

深入机器学习 | 深入机器学习系列合集


案例

银行 | 河南农信:数据辅助决策,决策引领创新

证券 | 中泰证券:多券商革新IT架构

证券 | 第一创业证券的大数据实践应用

智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书)

运营商 | 运营商的新方向-运用Hadoop技术将大数据资产变现

交通 | 大数据在智慧高速中的创新应用

基金 | 星环TDH助力南方基金迈入大数据时代

物流 | 星环Hadoop发行版助快递业迎战“双十一”

邮政 | 中国邮政大数据平台建设

税务 | 大数据提升税务系统核心能力

审计 | 让数据成为竞争力

视频监控 | Hadoop在实时视频监控的应用场景

广电 | Hadoop企业级应用新添重磅案例

电力 | 华南某市供电局全景可视化大数据平台案例

智能工厂 | 大数据技术助力中国石化智能工厂

农业 | 农业大数据的研究与实践

医药 | 医药产业链大数据前沿探讨

农信 | 河南农信 牛玲玲:数据辅助决策

航空 | 春秋航空的大数据之路


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存