大数据工程师成长路线图

随着数据量和需求的不断增长，数据工程职业一直是过去几年增长最快的工作之一。

根据2021 Stack Overflow 的调查，数据工程师是仅次于 SRE 和 DevOps 工程师的前 5 名收入最高的专业人士之一：

如果想成为一名数据工程师，这里有一些数据工程资源，您可以保存本文以备后用。

💻 基础知识

许多 IT 研发相关角色都必须对 Linux 操作系统有深入的了解。如果您了解以下基础知识，将受益匪浅：

• 基本终端的使用能力

• Shell脚本

• Git 和 GitHub

• 计算机网络基础

👩‍💻 编程基础

与任何与 IT 相关的角色一样，具有一般的编程基础知识是必不可少的。编程语言本身并不重要，但您需要对编程范式和最佳实践有很好的理解。

• Python

• Java

• Go

• PHP

🧪 测试

• 单元测试

• 功能测试

📊 数据库基础

对 SQL、数据规范化和 ACID 事务有扎实的理解是所有数据工程师的必备条件。

• SQL基础知识

• OLTP 与 OLAP

• 水平与垂直缩放

关系数据库

• MySQL/MariaDB

• PostgreSQL

非关系型数据库

• 文档：MongoDB、Elasticsearch

• 宽栏：Apache Cassandra、Apache HBase

• 图：Neo4j

• Key/Value DB：Redis、Memcached

🏠 数据仓库

• Snowflake

• prestodb

• Apache Hive

📦 对象存储

• 云存储

⚡ 数据处理

• Apache pig

• Apache Arro

数据混合处理

• Apache Spark

• Apache Bea

流媒体

• Materialise - 用于实时分析的流数据库

• Apache Kafka

• Apache Storm

📩 消息队列处理

• RabbitMQ

• Apache ActiveMQ

• RocketMQ

💽  集群计算

• Apache Hadoop和HDFS

  MapReduce

⏲ 工作流调度

• Apache Airflow

• Apache Oozie

📺 监控数据管道

• Prometheus

• Datadog

👨‍💻 基础设施即代码

• 容器：Docker

• 编排：Kubernetes、Docker Swarm

• 供应：Terraform

• 自动化：Ansible

🛫 CI/CD

• GitHub Actions

• Jenkins

结论

本文受到数据工程师路线图开源存储库的启发。

高清原图请点击查看原文，也祝各位大数据学习愉快。

编辑：大雄

相关阅读：

关于21CTO.com

21CTO.com是开发者的学习与服务平台。

我们为开发者提供高质量的资讯、学习以及工具等产品；

帮助企业快速对接开发者，包括人才招聘，数字化转型咨询，软件研发等服务。

网站地址：www.21cto.com

投稿邮箱：[e-mail]

联系微信：13426109659

 扫描二维码关注21CTO微信号