Hype Cycle for Data Management, 2020-2021
Source: Gartner
2021年,数据管理技术成熟度添加了下列技术:
D&A Governance Platforms
Edge Data Management
Intercloud Data Management
Active Metadata Management
Lakehouse
Data Engineering
看来分析师对 Databricks 的印象不错。
比较热门的是:数据工程 Data Engineering
数据工程是通过构建和操作跨各种数据和分析平台的数据管道,将数据重组为可用形式(例如,可组合数据和分析应用程序)的学科。它结合了三种不同的实践:数据管理、软件工程以及基础设施和运营。
数据工程本质上存在复杂异构的各类环境中的数据转换为可供数据消费者方便使用的形式。
它带来的好处是:在已有分析和数据客户模型中添加新数据后,更快获得结果;更容易集成第三方数据;更容易满足监管要求;业务部门可轻松获得组合式的数据和分析应用。
代表的厂商:Databricks
Databricks 的数据工程包括:
Data Ingestion
Data Management
ETL
Data Sharing
Data Governance
附录:
Hype Cycle Phases 技术成熟度阶段:
Innovation Trigger 启动期
Peak of Inflated Expectations 泡沫期
Trough of Disillusionment 低谷期
Slope of Enlightenment 爬升期
Plateau of Productivity 高原期
Benefit Ratings 价值评级:
Transformational 革命性
High 高
Moderate 中
Low 低
Maturity Levels 成熟度等级:
Embryonic 胚胎
Emerging 新兴
Adolescent 未成熟
Early mainstream 早期主流
Mature mainstream 成熟主流
Legacy 历史
Obsolete 过时