大数据面试杀招 | Hadoop高频考点，正在刷新你的认知！
导读：上一篇文章为大家总结了一些关于Hive的热门考点（原文：再次分享！Hive调优，数据工程师成神之路），得到了很多读者朋友的私信肯定与在看分享，觉得花时间去做这些知识整合是非常有价值，有意义的一件事。本篇文章，让我们一起来学习一下，该怎么准备Hadoop的复习内容，才有机会在面试过程中占据上风。
一、什么是Hadoop？
这是一个看着不起眼，实则“送命题”的典型。往往大家关于大数据的其他内容准备得非常充分，反倒问你什么是Hadoop却有点猝不及防，回答磕磕绊绊，给面试官的印象就很不好。另外，回答这个问题，一定要从事物本身上升到广义去介绍。面试官往往通过这个问题来判断你是否具有最基本的认知能力。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行数据处理。主要包括三部分内容：Hdfs，MapReduce，Yarn
Hadoop在广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如HBase，Hive，Spark，Zookeeper，Kafka，flume....
二、能跟我介绍下Hadoop和Spark的差异吗？
被问到也不要惊讶，面试官往往通过你对于不同技术的差异描述，就能看出你是不是真的具有很强的学习能力。
| Hadoop | Spark | |
|---|---|---|
| 类型 | 基础平台，包含计算，存储，调度 | 分布式计算工具 |
| 场景 | 大规模数据集上的批处理 | 迭代计算，交互式计算，流计算 |
| 价格 | 对机器要求低，便宜 | 对内存有要求，相对较贵 |
| 编程范式 | MapReduce，API 较为底层，算法适应性差 | RDD组成DAG有向无环图，API较为顶层，方便使用 |
| 数据存储结构 | MapReduce中间计算结果存在HDFS磁盘上，延迟大 | RDD中间运算结果存在内存中，延迟小 |
| 运行方式 | Task以进程方式维护，任务启动慢 | Task以线程方式维护，任务启动快 |
三、Hadoop常见的版本有哪些，分别有哪些特点，你一般是如何进行选择的?
这个完全就是基于个人的经验之谈的，如果平时没有细致研究过这些，这个问题一定是答不好的。
由于Hadoop的飞速发展，功能不断更新和完善，Hadoop的版本非常多，同时也显得杂乱。目前市面上，主流的是以下几个版本：
Apache 社区版本
Apache 社区版本 完全开源，免费，是非商业版本。Apache社区的Hadoop版本分支较多，而且部分Hadoop存在Bug。在选择Hadoop、Hbase、Hive等时，需要考虑兼容性。同时，这个版本的Hadoop的部署对Hadoop开发人员或运维人员的技术要求比较高。
Cloudera版本
Cloudera 版本 开源，免费，有商业版和非商业版本，是在Apache社区版本的Hadoop基础上，选择相对稳定版本的Hadoop，进行开发和维护的Hadoop版本。由于此版本的Hadoop在开发过程中对其他的框架的集成进行了大量的兼容性测试，因此使用者不必考虑Hadoop、Hbase、Hive等在使用过程中版本的兼容性问题，大大节省了使用者在调试兼容性方面的时间成本。
Hortonworks版本
Hortonworks 版本 的 Hadoop 开源、免费，有商业和非商业版本，其在 Apache 的基础上修改，对相关的组件或功能进行了二次开发，其中商业版本的功能是最强大，最齐全的。
所以基于以上特点进行选择，我们一般刚接触大数据用的就是CDH，在工作中大概率用 Apache 或者 Hortonworks。
四、能简单介绍Hadoop1.0，2.0，3.0的区别吗？
一般能问出这种问题的面试官都是“狠人”，基本技术都不差，他们往往是更希望应聘者能在这些“细节”问题上脱颖而出。
Hadoop1.0由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。在Hadoop1.0中容易导致单点故障，拓展性差，性能低，支持编程模型单一的问题。
Hadoop2.0即为克服Hadoop1.0中的不足，提出了以下关键特性：
Yarn：它是Hadoop2.0引入的一个全新的通用资源管理系统，完全代替了Hadoop1.0中的JobTracker。在MRv1 中的 JobTracker 资源管理和作业跟踪的功能被抽象为 ResourceManager 和 AppMaster 两个组件。Yarn 还支持多种应用程序和框架，提供统一的资源调度和管理功能 NameNode 单点故障得以解决：Hadoop2.2.0 同时解决了 NameNode 单点故障问题和内存受限问题，并提供 NFS，QJM 和 Zookeeper 三种可选的共享存储系统 HDFS 快照：指 HDFS（或子系统）在某一时刻的只读镜像，该只读镜像对于防止数据误删、丢失等是非常重要的。例如，管理员可定时为重要文件或目录做快照，当发生了数据误删或者丢失的现象时，管理员可以将这个数据快照作为恢复数据的依据 支持Windows 操作系统：Hadoop 2.2.0 版本的一个重大改进就是开始支持 Windows 操作系统 Append：新版本的 Hadoop 引入了对文件的追加操作
同时，新版本的Hadoop对于HDFS做了两个非常重要的「增强」，分别是支持异构的存储层次和通过数据节点为存储在HDFS中的数据提供内存缓冲功能
相比于Hadoop2.0，Hadoop3.0 是直接基于 JDK1.8 发布的一个新版本，同时，Hadoop3.0引入了一些重要的功能和特性
HDFS可擦除编码：这项技术使HDFS在不降低可靠性的前提下节省了很大一部分存储空间 多NameNode支持：在Hadoop3.0中，新增了对多NameNode的支持。当然，处于Active状态的NameNode实例必须只有一个。也就是说，从Hadoop3.0开始，在同一个集群中，支持一个 ActiveNameNode 和 多个 StandbyNameNode 的部署方式。 MR Native Task优化 Yarn基于cgroup 的内存和磁盘 I/O 隔离 Yarn container resizing
限于篇幅原因，这还都只是部分特性，大家多注意菌哥标记颜色的部分，就足以应对面试了。
五、说下Hadoop常用的端口号
Hadoop常用的端口号总共就那么几个，大家选择好记的几个就OK了
dfs.namenode.http-address:50070
dfs.datanode.http-address:50075
SecondaryNameNode：50090
dfs.datanode.address:50010
fs.defaultFS:8020 或者9000
yarn.resourcemanager.webapp.address:8088
历史服务器web访问端口：19888
六、简单介绍一下搭建Hadoop集群的流程
这个问题实在基础，这里也简单概述下。
在正式搭建之前，我们需要准备以下6步：
「准备工作」
关闭防火墙 关闭SELINUX 修改主机名 ssh无密码拷贝数据 设置主机名和IP对应 jdk1.8安装
「搭建工作:」
下载并解压Hadoop的jar包 配置hadoop的核心文件 格式化namenode 启动....
七、介绍一下HDFS读写流程
这个问题非常基础，同时出现的频率也是异常的高，但是大家也不要被HDFS的读写流程吓到。相信看到这里的朋友，应该不是第一次背HDFS读写繁多的步骤了，菌哥在这里也不建议大家去背那些文字，这里贴上两张图，大家要学会做到心中有图，万般皆易。
HDFS读数据流程
HDFS写数据流程
八、介绍一下MapReduce的Shuffle过程，并给出Hadoop优化的方案(包括：压缩、小文件、集群的优化)
MapReduce数据读取并写入HDFS流程实际上是有10步
你可以这么说：
Map方法之后Reduce方法之前这段处理过程叫「Shuffle」
Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段「快排」；溢写产生大量溢写文件，需要对溢写文件进行「归并排序」；对溢写的文件也可以进行Combiner操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce端拉取。
3）每个Reduce拉取Map端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。在进入Reduce方法前，可以对数据进行分组操作。
❝「讲到这里你可能已经口干舌燥，想缓一缓。但面试官可能对你非常欣赏：」「小伙几，看来你对MapReduce的Shuffle阶段掌握很透彻啊，那你跟我再介绍一下你是如何基于MapReduce做Hadoop的优化的，可以给你个提示，可以从压缩，小文件，集群优化层面去考虑哦~」
❞「可能你心里仿佛有一万只草泥马在奔腾，但是为了顺利拿下本轮面试，你还是不得不开始思考，如何回答比较好：」
1）HDFS小文件影响
影响NameNode的寿命，因为文件元数据存储在NameNode的内存中 影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务
2）数据输入小文件处理
合并小文件：对小文件进行归档（Har）、自定义Inputformat将小文件存储成SequenceFile文件。 采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景 对于大量小文件Job，可以开启JVM重用
3）Map阶段
增大环形缓冲区大小。由100m扩大到200m 增大环形缓冲区溢写的比例。由80%扩大到90% 减少对溢写文件的merge次数。（10个文件，一次20个merge） 不影响实际业务的前提下，采用Combiner提前合并，减少 I/O
4）Reduce阶段
合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致 Map、Reduce任务间竞争资源，造成处理超时等错误。 设置Map、Reduce共存：调整 slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。 增加每个Reduce去Map中拿数据的并行数 集群性能可以的前提下，增大Reduce端存储数据内存的大小
5) IO 传输
采用数据压缩的方式，减少网络IO的的时间 使用SequenceFile二进制文件
6) 整体
MapTask默认内存大小为1G，可以增加MapTask内存大小为4 ReduceTask默认内存大小为1G，可以增加ReduceTask内存大小为4-5g 可以增加MapTask的cpu核数，增加ReduceTask的CPU核数 增加每个Container的CPU核数和内存大小 调整每个Map Task和Reduce Task最大重试次数
7) 压缩
压缩，可以参考这张图
九、介绍一下 Yarn 的 Job 提交流程
这里一共也有两个版本，分别是详细版和简略版，具体使用哪个还是分不同的场合。正常情况下，将简略版的回答清楚了就很OK，详细版的最多做个内容的补充：
详细版 简略版
client向RM提交应用程序，其中包括启动该应用的ApplicationMaster的必须信息，例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等 ResourceManager启动一个container用于运行ApplicationMaster 启动中的ApplicationMaster向ResourceManager注册自己，启动成功后与RM保持心跳 ApplicationMaster向ResourceManager发送请求,申请相应数目的container 申请成功的container，由ApplicationMaster进行初始化。container的启动信息初始化后，AM与对应的NodeManager通信，要求NM启动container NM启动container container运行期间，ApplicationMaster对container进行监控。container通过RPC协议向对应的AM汇报自己的进度和状态等信息 应用运行结束后，ApplicationMaster向ResourceManager注销自己，并允许属于它的container被收回
十、介绍下Yarn默认的调度器，调度器分类，以及它们之间的区别
关于Yarn的知识点考察实际上在面试中占的比重并的不多，像面试中常问的无非就Yarn的Job执行流程或者调度器的分类，答案往往也都差不多，以下回答做个参考：
1）Hadoop调度器主要分为三类：
FIFO Scheduler：先进先出调度器：优先提交的，优先执行，后面提交的等待【生产环境不会使用】 Capacity Scheduler：容量调度器：允许看创建多个任务对列，多个任务对列可以同时执行。但是一个队列内部还是先进先出。【Hadoop2.7.2默认的调度器】 Fair Scheduler：公平调度器：第一个程序在启动时可以占用其他队列的资源（100%占用），当其他队列有任务提交时，占用资源的队列需要将资源还给该任务。还资源的时候，效率比较慢。【CDH版本的yarn调度器默认】
十一、了解过哪些Hadoop的参数优化
前面刚回答完Hadoop基于压缩，小文件，IO的集群优化，现在又要回答参数优化，真的好烦啊(Ｔ▽Ｔ)如果你把自己放在实习生这个level，你 duck 不必研究这么多关于性能调优这块的内容，毕竟对于稍有工作经验的工程师来说，调优这块是非常重要的
我们常见的「Hadoop参数调优」有以下几种：
在hdfs-site.xml文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群 NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作
dfs.namenode.handler.count=20 * log2(Cluster Size)
比如集群规模为10台时，此参数设置为60
编辑日志存储路径dfs.namenode.edits.dir设置与镜像文件存储路径dfs.namenode.name.dir尽量分开，达到最低写入延迟 服务器节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量 单个任务可申请的最多物理内存量，默认是8192（MB）
十二、了解过Hadoop的基准测试吗?
这个完全就是基于项目经验的面试题了，暂时回答不上来的朋友可以留意一下：
我们搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。
十三、你是怎么处理Hadoop宕机的问题的?
相信被问到这里，一部分的小伙伴已经坚持不下去了
如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）。
如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。高峰期的时候用Kafka进行缓存，高峰期过去数据同步会自动跟上。
十四、你是如何解决Hadoop数据倾斜的问题的，能举个例子吗?
「性能优化」和「数据倾斜」，如果在面试前不好好准备，那就准备在面试时吃亏吧~其实掌握的多了，很多方法都有相通的地方。下面贴出一种靠谱的回答，大家可以借鉴下：
1）提前在map进行combine，减少传输的数据量
在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。
如果导致数据倾斜的key 大量分布在不同的mapper的时候，这种方法就不是很有效了
2）数据倾斜的key 大量分布在不同的mapper
在这种情况，大致有如下几种方法：
「局部聚合加全局聚合」
第一次在map阶段对那些导致了数据倾斜的key 加上1到n的随机前缀，这样本来相同的key 也会被分到多个Reducer 中进行局部聚合，数量就会大大降低。
第二次mapreduce，去掉key的随机前缀，进行全局聚合。
「思想」：二次mr，第一次将key随机散列到不同 reducer 进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀，按原key进行reduce处理。
这个方法进行两次mapreduce，性能稍差
「增加Reducer，提升并行度」
JobConf.setNumReduceTasks(int)
「实现自定义分区」
根据数据分布情况，自定义散列函数，将key均匀分配到不同Reducer
彩蛋
为了能鼓励大家多学会总结，贴上自己平时做的思维导图，需要的朋友，可以关注公众号【数据仓库与Python大数据】，后台回复“we”即可获取。
结语
很高兴欢迎大家文末在看转发分享，在最美的年华，做最好的自己，一起成长，一起进步，升职加薪，我们下一期见~~
「一键三连，养成习惯~」❞
- END -
往期推荐
欢迎加入 大数据数仓中台交流群，跟同行零距离交流。如想进群，请加v：iom1128，备注：数仓，审核通过自主入群。
入群请联系小助手：iom1128『紫霞仙子』
！关注不迷路~ 各种福利、资源定期分享！