大数据技术变革正当时，Apache Hudi了解下？

之前认为只有大公司才能负担得起大数据驱动的解决方案，该方案适用于海量数据，但价格昂贵。随着大数据技术的不断发展，现在已经发生了很大变化。

1. 大数据技术的成熟度

第一次革命与成熟度和质量有关。十年前对于大数据技术开发人员需要做出一定努力才能使一些大数据技术正常工作或与其他大基础组件协同工作。

过去的开发人员浪费了80%的时间试图克服Spark、Hadoop、Kafka或其他软件的低级问题，如今这些技术变得足够可靠，并且可以很好的协同工作。

与出现内部错误相比，基础架构出错的概率要大得多，在大多数情况下即使基础架构出现问题也是可以容忍的，因为大多数大数据处理框架都设计为容错的。此外这些技术为计算提供了稳定、强大和简单的抽象，使开发人员可以专注于业务开发。

2. 各种大数据技术

第二场革命现在正在发生，近年出现了很多开源技术，如Apache Pino，Delta Lake，Hudi，Presto，Clickhouse，Snowflake，Upsolver，Serverless等等。数千名开发人员将创造力和创意转化为了大胆而出色的解决方案，并可相互协同。

接着我们来介绍一个典型的分析数据平台（ADP），它包括四层：

• 仪表板和可视化– ADP的外观，向终端用户提供分析入口。• 数据处理 – 数据流水线，用于验证、丰富和转换，将数据从一种形式到另一种形式。• 数据仓库 – 存放组织良好的数据的地方– 汇总、数据集市等。• 数据湖 - 用于存放原始数据的地方，是数据仓库的基础。

上述每一层都有很多替代品，可满足任何要求，这些技术中有一半是在过去5年内出现的。

这些技术开发旨在相互兼容。例如典型的低成本小型ADP可能包含Apache Spark作为处理组件的基础，AWS S3或类似云上对象存储作为数据湖，Clickhouse作为仓库，OLAP用于低延迟查询，而Grafana用于仪表板。

具有更强保证、更复杂的ADP可以以另外不同的方式构成，例如引入Apache Hudi与S3、OSS作为数据仓库可以确保更大的规模，而Clickhouse仍然可以低延迟地访问聚合数据。

3. 成本效益

第三次革命由云引发。云服务成为真正的游戏规则改变者，他们将大数据作为即用型平台（大数据即服务）进行处理，使开发人员可以专注于功能特性开发，使云计算能够关注基础架构。

下图显示了ADP的另一个示例，该示例利用了无服务器技术，从存储、处理到表示层的强大功能。AWS托管服务使用了相同的设计思想（此处的AWS只是一个示例，可以在任何其他云提供商的基础上构建相同的ADP）。

开发人员可以选择特定技术和一定程度的无服务器技术，无服务器技术越多，可组合性就越好，锁定在特定的云提供商和无服务器技术的解决方案可以缩短开发交付时间，但在无服务器技术之间进行明智地选择可使解决方案具有成本效益。

尽管此选项对初创公司而言不是很有用，因为它们倾向于利用10万美元云信用额度，并且在AWS，GCP和Azure之间进行转变非常普遍。

通常工程师需要区分以下成本：

• 开发成本• 维护成本• 变更成本

3.1 开发成本

云技术绝对可以简化工程工作，它在几个方面产生积极影响。

第一个是架构和设计决策。无服务器技术提供了丰富的模式和可重用组件集，为解决方案的体系结构提供了坚实而一致的基础。

其中的问题是可能会减慢设计阶段：大数据技术自然是分布式的，因此在设计相关解决方案时必须考虑可能的故障和中断，以确保数据的可用性和一致性，另外解决方案进行扩展所需的精力更少。

第二个是集成和端到端测试。无服务器技术允许创建隔离的沙箱，播放，测试，修复问题，从而减少开发时间。

另一个优势是云使解决方案的部署过程实现了自动化，此功能是任何团队成功的必备属性。

3.2 维护成本

云提供商声称要解决的主要目标之一是减少用户监视工作并保持生产环境可用，他们试图用几乎没有devops参与的方式构建某种理想的抽象，但实际情况有所不同，关于这个想法通常维护仍然需要一些努力，下表显示了最突出的部分。

除此之外，这方案在很大程度上取决于基础设施和许可证成本。设计阶段非常重要，因为它提供了一个挑战特定技术并提前预估运行成本的机会。

3.3 变更成本

大数据技术关注客户的另一个重要方面 - 变更成本。我们的经验表明大数据与任何其他技术之间没有区别，如果解决方案没有过度设计，那么变更的成本就可以与非大数据技术完全媲美，大数据带来了一个好处是大数据解决方案被设计为解耦的，设计正确的解决方案看起来不像是整体解决方案，可以在需要的地方短期内应用局部更改，并且影响生产的风险较小。

4. 总结

总而言之我们认为大数据是可以负担得起的，它为开发人员提出了新的设计模式和方法，开发人员可以利用它来组装符合最严格的业务要求并同时具有成本效益的任何分析数据平台。

大数据驱动的解决方案可能是快速成长的初创公司的基础，这些初创公司希望变得灵活，应用快速变更，而一旦企业需要更大的数据量，大数据驱动的解决方案就可以与企业一起扩展。

大数据技术允许以小规模或大规模实施近实时分析，而经典解决方案却有性能问题，云提供商已将大数据提升到了新的水平，从而提供了可靠、可扩展和即用的功能，快速交付来开发具有成本效益的ADP从未如此简单。

推荐阅读