我是DBA,从大数据小白到阅读框架源码,薪资翻了三倍
前言
自我介绍
为什么要学习大数据
以下是我详细的学习各类的知识点:
Hadoop 工作流程(Shuffle) 实现全局排序与局部排序 实现join操作 数据倾斜 单机架构 工作流程 资源如何配置 三种调度器 单机架构 读写流程 副本策略 单机环境中SNN如何工作 HA架构 故障案例:例如block块损害该怎么修复 如何编译支持各类压缩 HadoopAPI使用 HDFS Yarn MapReduce Zookeeper 单机/集群部署 过半机制 选举制度 Flume Source Channel Sink Interceptors Channel Selector Sink Precessors Taildir Exec Spooling Avro 自定义 Memory File HDFS Logger Kafka Avro 自定义 架构 工作流程 Scala List Map Array Set case class 伴生对象/类 数据类型 方法和函数 循环 类和对象 集合以及算子 模式匹配 隐式转换 Spark DStream概念 Source Transformations Output Performance Tuning Kafka对接方式以及消费语义 DF/DS API 外部数据源 Tuning 概念 Transformations Action Cache 累加器和广播变量 Shuffle源码实现 内存模型 支持CDH Building 架构以及工作流程 RDD SQL Streaming Yarn提交作业流程以及如何提交 Spark调优 Kafka 单机/集群部署 常用命令 核心概念 offset管理 怎么保证数据一致性 调优 HBase HBase-CDH环境部署/单机部署 核心概念 逻辑/物理模型 架构以及读写流程 RK设计 调优
面试经历
总结
1.学习东西一手资料全在官网,习惯看英文文档。
2.学习过程一定要形成笔记或者写博客来记录,方便之后复习。
3.学习目标一定要以JD为准,效率最快以及保证技术不会落后。
4.习惯设定目标激励自己,实现自我驱动。
5.面试能够走内推就走内推,人脉很重要。
6.前期找个人带带,可以少走很多弯路。
资料链接:
我的博客:https://liverrrr.fun/ B站视频: https://space.bilibili.com/356836323/video