湖仓一体的核心能力及市场格局情况？

摘要：随着数字化转型的项目的失败率高以及阿里最近也不再推动数据中台的概念，数据中台的热度有所下降，但这并不意味着数据中台没有市场和应用场景。而随着伴随的湖仓一体新的数据平台的价值到底是什么，很多时候，即便是在IT行业深更好多年的技术人员可能也会很难以理解清楚，为什么要做湖仓一体，和以前的数据中台什么区别？湖仓一体的核心能力是什么，目前市面上主流的湖仓一体的厂家情况是怎样的？

• 数据中台是什么？和湖仓一体的区别是什么？
  ‍‍
• 现在不需要数据中台或者数据平台？
  ‍‍
• 湖仓一体的核心能力是什么？
• 市面上主流的湖仓一体的厂家情况是怎样的？

01

—

数据中台是什么？和湖仓一体的区别是什么？
‍‍‍‍‍

数据中台是一种集成了数据管理、数据治理、数据服务等多个方面的平台，旨在为企业提供稳定、高效、安全的数据支持和服务，帮助企业更好地进行数字化转型。数据中台的核心思想是将所有的数据资源和服务整合到一个统一的平台上，实现数据的集中管理和服务。以下是数据中台的几个关键特点：

1. 集中化管理：数据中台将企业内的各种数据资源集中起来，实现统一管理和调度。

2. 数据治理：通过数据中台，企业可以实施数据治理策略，确保数据的质量和一致性。

3. 数据服务化：数据中台提供数据服务接口，使得业务系统能够方便地获取和使用数据。

4. 支持业务创新：数据中台支撑快速的数据分析和业务决策，帮助企业发现新的业务机会。

5. 技术架构：数据中台通常基于云计算的技术架构，采用分布式、微服务、容器化等技术手段。

6. 数据集成：能够对接各种数据源，包括业务系统、数据库、互联网数据等。

7. 数据共享：打破数据孤岛，实现数据的共享和整合，避免数据重复建设和浪费。

数据中台的建设对于企业的数字化转型具有重要意义，可以为企业提供更好的数据支持和服务，推动企业的数字化转型和升级。

数据中台旨在从数据的角度来提高数据的复用率，降低数据开发的成本，通过数据驱动运营，改善业务的运营效果。提倡用数据的思维解决问题，数据驱动经营。

湖仓一体（Data Lakehouse）是一种新型的数据架构，它融合了数据湖和数据仓库的优势，提供了一个统一的平台用于存储和分析各种结构化和非结构化数据。这种架构允许用户以统一的方式处理结构化和非结构化数据，同时提供数据湖的低成本存储和数据仓库的数据处理能力。

湖仓一体的关键特性包括：

1. 数据管理特性：集成了数据仓库的数据管理功能，如数据清理、ETL和Schema实施，确保数据自然协同工作。

2. 开放存储格式：使用开放和标准化的存储格式，确保数据从一开始就能够协同工作，便于分析或报告。

3. 灵活的存储：支持根据需要将计算与存储资源隔开，轻松扩展存储 。

4. 支持流处理：更好地支持实时流处理，适应物联网设备与实时数据需求 。

5. 多种工作负载：适合处理多种不同的工作负载，包括业务报告、数据科学团队和分析工具。

与传统的数据仓库相比，湖仓一体提供了更高的灵活性和开放性，同时保持了数据仓库的规范性和高性能。这种架构简化了数据管理流程，通过打通多个数据档案库，取代了多个单独的解决方案，有助于创建更高效的端到端流程。

湖仓一体的优势在于减少管理任务、更好的数据治理、简化标准和提高成本效益。企业可以选择构建自己的湖仓一体解决方案，或购买云技术服务。随着技术的发展，湖仓一体有望成为数据库行业的未来趋势，帮助企业更高效地管理和分析数据。

从上面的两个定义我们可以清楚的了解到数据中台和湖仓一体是从两个完全不同的角度描述数据底座产品，数据中台是从数据运营和使用的角度在描述，而湖仓一体是从数据架构的角度在描述。数据中台底层的基础平台可能是大数据平台，也有可能是数据仓库，或者湖仓一体。因此我们不能将数据中台和湖仓一体等同，因为她们本来描述的维度不同。

02

—

现在不需要数据中台或者数据平台？

既然说到数据中台不等同与湖仓一体，那么现在还需要数据中台吗？数据中台是不是就是老的概念了，不需要了吗？这里有几点需要说明。

第一、数据中台是一个数据运营的概念，不管是否有没有数据中台，如果需要使用到报表分析，数据分析，科学计算的应用场景，不管有没有数据中台，都需要将业务数据从业务库汇总到数据湖，或者数据仓库进行清洗加工之后再使用。目前的关系型数据库或者说单纯的任意一个MPP数据库都没有办法解决数据分析的所有的问题。

第二、如何建立数据底座或者数据中台，过往由于大家对数据中台的概念比较热，所以期望值比较高，但是数据底座或者数据中台始终是一个基础性的建设，并不像业务系统，面向业务人员可以直接产生业务价值。但是也有少数的应用场景，例如内容中台等，内容数据可以直接变现的场景，数据底座或者数据中台有明确的价值。大部分数据中台和数据平台的应用场景主要是报表和分析或者预测分析，主要的功能是辅助领导决策，通过精细化的运营提升企业经营效率或者提升收入，大部分场景都是非直接产生价值的，因此数据平台或者数据中台的价值并不好直接衡量，在这个情况下，最好的方式是通过敏捷的构建数据平台。从应用场景出发，通过应用场景逐步梳理需要的数据，采集同步入库，开发应用，从底层盘点，所有的数据直接进入湖仓一体或者数据中台，有些数据实际上没有什么应用场景或者价值，全部存储其实是浪费。

第三、事实求是，客观的评估当前的需求，一般数据中台或者湖仓一体的应用场景或者客户主要对象是中大型企业，企业规模年收入超过10亿的。在面对复杂的管理的应用场景的时候需要通过数据来客观的衡量的各个方面的情况，普通小型企业的经营管理，一般通过规章制度等就可以管理。而数据分析的项目在面对小型企业并不能通过精细化的运营达到规模效益，提升企业的核心竞争力。因此数据平台或者湖仓一体的客户对象一般是数据量极大的国有企业希望通过数据进行创新赋能，或者中大型企业通过数据提升企业的经营效率。

03

—

湖仓一体的核心能力是什么？

湖仓一体架构是一种面向数据的全面解决方案，它代表了数据基础设施的基础性建设。这种架构旨在将数据湖的灵活性和数据仓库的结构化优势结合起来，以实现更高效的数据管理和分析。然而，目前许多自建的湖仓一体架构采用的是"湖上建仓"的方式，这种方式虽然在一定程度上实现了数据湖和数据仓库的结合，但仍然存在一些不足，例如数据一致性问题、数据冗余、以及对ACID事务性的支持不足等。

为了克服这些不足，一个理想的湖仓一体架构应该具备以下核心能力：

1. 存算分离：实现存储和计算资源的独立扩展和管理，以支持弹性伸缩和按需资源分配。

2. 批流一体：支持批处理和流处理的统一，以实现多模态数据的融合和实时分析，从而提高数据分析的效率。

3. ACID事务性：确保具备完整的ACID事务机制，以保障数据的原子性、一致性、隔离性和持久性，确保不同用户在查询和计算时数据的一致性。

4. 元数据统一管理：通过元数据管理标准，实现数据湖与数据仓库元数据的统一采集和管理，形成统一的元数据目录。

5. 多模数据存储及存储分级：支持多种数据存储格式，包括HDFS文件存储和S3/OSS对象存储，以及结构化、时序、文档、图像等多种数据类型，实现数据的冷热分级存储。

6. 支持多计算引擎：内置引擎路由能力，支持多种计算引擎，包括离线计算、实时计算、交互式查询等，并支持机器学习和深度学习框架。

7. 多场景融合分析：支持BI、可视化、数据科学、机器学习等多种应用场景的分析。

8. DataOps实践：提供数据管理和软件开发的工具和组件，包括数据协作、开发、部署、编排、测试和监控等，以提高数据管理和应用开发的效率。

9. Data Fabric实现：通过数据虚拟化技术，实现对分散、多源数据的逻辑统一管理，形成完整的数据资产，支持数据业务表达，将数据转化为业务可理解的指标和标签，以满足业务需求并加速数据价值的挖掘。

通过这些核心能力，湖仓一体架构能够提供一个更加强大、灵活且高效的数据管理和分析平台，满足现代企业对数据驱动决策的需求。

04

—

市面上主流的湖仓一体的厂家情况是怎样的？
‍‍

目前市面上主流的湖仓一体的数据平台的厂家主要有四类。

1）云厂商

实现路径：基于自身 IaaS 云基础能力，构建云生态或软硬一体化的湖仓一体解决方案。

行业布局：依托于云能力面向政府政务和互联网企业提供湖仓解决方案，如华为侧重政府政务，阿里云面向互联网。

2）数据库、数据仓库厂商

实现路径：以单一技术路线为主，在自身数据库、数据仓库的基础上实现湖仓一体方案。

行业布局：优先在数据库、数据仓库的深入性行业如金融、政府提供服务。

3）数据中台服务商

实现路径：在数据中台的计算引擎层提供湖仓一体架构，通过数据集成、数据开发、数据治理形成数据资产，为数据消费者提供结构化、非结构化湖仓数据。

行业布局：优先服务零售消费、先进制造、生物医药等新经济行业的集团型企业以及部分金融企业。

4）大数据基础软件厂商

实现路径：采用湖仓融合的技术架构，对数据存储计算引擎进行独立研发，兼容上游数据库、数据湖与下游数据中台应用系统，提供开放的湖仓一体引擎。例如 KeenData Lakehouse湖仓一体基础数据底座，一方面，面向上游兼容纳管数据库、数据仓库、数据湖等多源异构系统；另一方面，面向下游提供完善的基础平台能力，如基于 DataOps 理念的数据工程体系支持数据低代码开发；数据治理与数据工程融合可实现主动元数据探查、基于 AI 增强的数据血缘分析等主动实时的数据治理；以及基于数据虚拟化提供智能指标、智能标签等数据业务表达能力。

行业布局：以独立引擎提供兼容性的湖仓能力，可在金融、政府、能源、零售、汽车等全行业实现落地。

云厂商、数据库、数据仓库、数据中台服务商和大数据基础软件厂商在推广湖仓一体架构时，各自拥有不同的优势：

1、云厂商：云厂商如AWS、阿里云、华为云等，拥有强大的云计算资源和广泛的市场覆盖。他们可以将湖仓一体作为数据存储解决方案的一部分，提供综合的云计算服务，包括存储、计算、网络等，利用其现有的客户基础和技术积累快速推广湖仓一体解决方案。

2、数据库厂商：数据库厂商通常拥有深厚的数据管理和优化经验。他们可以利用自身的数据库技术优势，提供高性能的数据存储和查询服务，同时在湖仓一体架构中实现数据的高效管理和优化。

3、数据仓库厂商：数据仓库厂商专注于数据的存储、管理和分析。他们推广湖仓一体时，可以提供强大的数据建模、ETL处理和数据查询能力，确保数据的一致性和分析性能。

4、数据中台服务商：数据中台服务商擅长于数据的集成和业务的融合。他们推广湖仓一体时，可以提供数据中台与湖仓一体的无缝集成，实现数据的快速流动和业务的敏捷响应，同时降低数据开发和运维的复杂度。

5、大数据基础软件厂商：大数据基础软件厂商如科杰科技，专注于大数据平台的研发和创新。他们推广湖仓一体时，可以提供自主可控的大数据技术，支持国产化适配，并具备强大的数据处理和分析能力，帮助企业构建数据驱动型组织。

每个厂商根据自身的技术特长和市场定位，为湖仓一体的推广和实施提供不同的价值和解决方案。

欢迎加入【数据行业交流群】社群，长按以下二维码加入专业微信群，商务合作加微信备注商务合作，AIGC应用开发交流入群备注AIGC应用

往期数据平台历史热门文章：

往期AIGC历史热门文章：