汇总：大数据开源框架技术扫盲

Python开发者

（给Python开发者加星标，提升Python技能）

转自：数据社

主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。

系统平台（Hadoop、CDH、HDP）
监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）
文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio）
资源调度（YARN、Mesos、）
协调框架（ZooKeeper 、Etcd、Consul）
数据存储（HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData）
数据处理（MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron）
查询分析（Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix）
数据收集（Flume、Filebeat、Logstash、Chukwa ）
数据交换（Sqoop 、Kettle、DataX 、NiFi）
消息系统（Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ）
任务调度（Azkaban、Oozie、Airflow）
数据治理（Ranger 、Sentry、Atlas）
可视化（Kibana 、D3.js、ECharts）
数据挖掘（Mahout 、MADlib 、Spark ML、TensorFlow、Keras）
云平台（Amazon S3、GCP、Microsoft Azure）

系统平台

Hadoop：Apache Hadoop是一个开源的分布式系统基础框架，离线数据的分布式存储和计算的解决方案。

Hadoop最早起源于Nutch，Nutch基于2003 年、2004年谷歌发表的两篇论文分布式文件系统GFS和分布式计算框架MapReduce的开源实现HDFS和MapReduce。2005年推出，2008年1月成为Apache顶级项目。Hadoop分布式文件系统(HDFS)是革命性的一大改进，它将服务器与普通硬盘驱动器结合，并将它们转变为能够由Java应用程序兼容并行IO的分布式存储系统。

Hadoop作为数据分布式处理系统的典型代表，形了成完整的生态圈，已经成为事实上的大数据标准，开源大数据目前已经成为互联网企业的基础设施。Hadoop主要包含分布式存储HDFS、离线计算引擎MapRduce、资源调度Apache YARN三部分。Hadoop2.0引入了Apache YARN作为资源调度。

Hadoop3.0以后的版本对MR做了大量优化，增加了基于内存计算模型，提高了计算效率。比较普及的稳定版本是2.x，目前最新版本为3.2.0。

集群管理与监控

Clodera Manager：CM是Cloudera开发的一个基于Web的用于部署和管理CDH集群的软件。它具有集群自动化安装、中心化管理、集群监控、报警等功能，大大节省集群部署时间，降低了运维成本，极大的提高集群管理的效率。(非开源)

文件系统

HDFS：HDFS（Hadoop Distributed File System）分布式文件系统，是分布式计算中数据存储管理的基础。是Hadoop Core项目的核心子项目。HDFS是基于流数据模式访问和处理超大文件的需求而开发的，效仿谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。

HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

资源调度

YARN：（Yet Another Resource Negotiator）是Hadoop的资源管理和作业调度系统。作为Apache Hadoop的核心组件之一，YARN负责将系统资源分配给在Hadoop集群中运行的各种应用程序，并调度在不同集群节点上执行的任务。

YARN是Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的 daemon（守护进程），其拥有一个全局ResourceManager、每个应用程序的ApplicationMaster及每台机器框架代理NodeManager。ResourceManager负责所有应用程序之间资源分配。

NodeManager负责Containers，监视其资源使用情况（CPU，内存，磁盘，网络）并将其报告给 ResourceManager。ApplicationMaster负责是协调来自ResourceManager的资源，并与NodeManager一起执行和监视任务。

协调框架

Zookeeper：Apache ZooKeeper 是一个开源的分布式协调服务，是Google的Chubby一个开源的实现，是Hadoop，HBase和其他分布式框架使用的有组织服务的标准。由雅虎开源并于2010年11月成为Apache顶级项目。ZooKeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。

ZooKeeper是以Fast Paxos算法为基础的，Paxos 算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而Fast Paxos作了一些优化，通过选举产生一个leader (领导者)，只有leader才能提交proposer。ZooKeeper使用 ZAB 协议作为其保证数据一致性的核心算法。ZAB（ZooKeeper Atomic Broadcast 原子广播）协议是为分布式协调服务 ZooKeeper 专门设计的一种支持崩溃恢复的原子广播协议。

数据存储

Hbase：Apache HBase（Hadoop Database）是一个分布式的、面向列的NoSQL开源数据库。是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。初期的目标是弥补MapReduce在实时操作上的缺失，方便用户可随时操作大规模的数据集。HBase原来是Apache的Hadoop项目的子项目，随着大数据与NoSQL的流行和迅速发展，2010年5月Apache HBase脱离了Hadoop成为Apache基金的顶级项目。

HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为协调服务。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，另外HBase是基于列的而不是基于行的模式。

数据处理

MapReduce：Apache Hadoop MapReduce是一个分布式的离线计算框架，用于海量数据的并行运算，是Hadoop数据分析的核心.。MapReduce框架使得编程人员在不会分布式并行编程的情况下，将编写的业务逻辑代码运行在分布式系统上，开发人员可以将绝大部分的工作集中于业务逻辑上的开发，具体的计算只需要交给框架就可以。

MapReduce的处理过程分为两个步骤：Map和Reduce。Map阶段对输入的数据进行并行处理，处理结果传给Reduce完成最后的汇总。但由于MR对HDFS的频繁操作（包括计算结果持久化、数据备份、资源下载及Shuffle等）导致磁盘I/O成为系统性能的瓶颈，因此只适用于离线数据处理或批处理，而不能支持对迭代式、交互式、流式数据的处理，目前逐渐被Spark、Flink替代。

数据查询和分析

Hive：Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL语句的Hive SQL（HQL）查询功能，将SQL语句转换为MapReduce任务进行运行。

Hive是由Facebook在2008年将捐献给Apache，2010年9月毕业成为Apache顶级项目。原理是用熟悉的SQL模型来操作 HDFS 上的数据。优点是学习成本低，可以通过HQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用。

方便的使用 Hive 进行数据仓库的建模和建设，然后使用 SQL 模型针对数据仓库中的数据进行统计和分析。但由于Hive底层默认是转换为MR执行，而MR的shuffle是基于磁盘的，所以只能处理离线分析，效率比较低。目前大部分企业使用Hive构建数仓。

数据收集

Flume：Apache Flume是一个分布式海量日志采集、聚合和传输系统。Flume最初由Cloudera由开发，于2011年6月贡献给Apache，2012年成为Apache顶级项目。Flume支持在日志系统中定制各类数据发送方，用于收集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume的数据流由事件（Event）贯穿始终。事件是Flume的基本数据单位，它携带日志数据（字节数组形式）并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入（单个或多个）Channel中。可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

数据交换

Sqoop：Apache Sqoop 是一款数据迁移工具，用来在不同数据存储软件之间进行数据传输的开源软件，它支持多种类型的数据储存软件。用来在关系型数据库和Hadoop/Hive间进行数据迁移，方便大量数据的导入导出工作。

Sqoop底层是通过MapReduce去实现的，但只有Map没有Reduce。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来独立成为一个Apache项目，于2012年3月成为Apache顶级项目。

消息系统

Pulsar：Apache Pulsar是一个开源的企业级分布式消息系统。项目于2015年由 Yahoo 开源，2017年6月提交给 Apache孵化器，2018年9月成为Apache的顶级项目。Pulsar在消息、计算和存储三个方面进行的协调、抽象和统一。

Pulsar对pub-sub和 queue两种模式提供统一的支持，同时保证了一致性，高性能和易扩展性。Pulsar同时支持处理实时流和消息队列，内部的 Pulsar-Functions 提供了 Stream-native 的轻量级计算框架，保证了数据的即时流式处理。

Pulsar借助Apache BookKeeper提供了以 segment 为中心的存储架构，保证了存储的性能，持久性和弹性。Pulsar是无状态的，在Pulsar架构中，数据的分发和保存是相互独立的。broker 从生产者接收数据，然后将数据发送给消费者，但数据是保存在 BookKeeper 中的。

Pulsar支持跨域复制。Pulsar是下一代分布式消息队列，有替代Kafka的趋势。

任务调度

Azkaban：Azkaban是由Linkedin开源的一个批量工作流任务调度器。使用Java开发。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪工作流。Azkaban通过Web浏览器在GUI中进行基于时间的调度，将所有正在运行的工作流的状态保存在其内存中。

数据治理

Ranger：Apache Ranger 是一个用在 Hadoop 平台上并提供操作、监控、管理综合数据安全的框架，它提供一个集中的管理机制，管理基于Apache Hadoop生态圈的所有数据权限。

Ranger是由Hortonworks所主导，2014年7月24日进入Apache孵化，2017年1月18日成为Apache的顶级项目。随着Apache YARN的出现，Hadoop平台现在可以支持一个真正的数据湖体系结构。企业可以在多租户环境中运行多个工作负载，因此， Hadoop中的数据安全性需要发展。

Apache Ranger 提供最全面的安全覆盖，本地支持众多 Apache 项目，包括Atlas、HDFS、HBase、Hive、Kafka、Knox、NiFi、Solr、Storm 和 YARN。Ranger 通过访问控制策略提供了一种标准的授权方法。作为标准，Ranger提供了一种集中式的组件，用于审计用户的访问行为和管理组件间的安全交互行为。Ranger 使用了一种基于属性的方法定义和强制实施安全策略。

当与 Apache Hadoop 的数据治理解决方案和元数据仓储组件Apache Atlas一起使用时，它可以定义一种基于标签的安全服务，通过使用标签对文件和数据资产进行分类，并控制用户和用户组对一系列标签的访问。

数据可视化

Kibana：Kibana 是一个设计出来用于和 Elasticsearch 一起使用的开源的分析与可视化平台，可以用 Kibana 搜索、查看、交互存放在Elasticsearch 索引里的数据，使用各种不同的图表、表格、地图等展示高级数据分析与可视化，基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘，让大量数据变得简单，容易理解。Kibana 现在是Elastic的ELK家族成员之一。

数据挖掘

Mahout：Apache Mahout 是机器学习和数据挖掘的一个分布式框架，它是基于hadoop之上的。它提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。

Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘，主要核心的三大算法为推荐，聚类及分类算法。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。

云平台

AWS S3：Amazon S3（Amazon Simple Storage Service ）是一种对象存储服务，提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用它来存储和保护各种用例（如网站、移动应用程序、备份和还原、存档、企业应用程序、IoT 设备和大数据分析）的任意数量的数据。Amazon S3 提供了易于使用的管理功能，因此您可以组织数据并配置精细调整过的访问控制以满足特定的业务、组织和合规性要求。