2023年值得一做的5个免费数据工程项目

今日份知识你摄入了么？

数据工程是一个回报丰厚的职业，目前正在蓬勃发展。

这一领域对熟练专业人员的需求日益增加。在一个数据驱动的世界里，建立、设计和管理数据科学管道并维护数据基础设施，为数据应用提供动力，DE是至关重要的。

用一句话来概括：“数据工程是人工智能的未来”。

但问题是：

寻找数据工程项目是非常困难的！这就是为什么我列出了你现在可以做的5个项目。

如果你对数据工程感兴趣，或者想把你的专业技能提升到更高的水平，你已经点击了正确的文章。本文也将帮助你为你的工作建立一个伟大的作品集/简历。

那我们开始吧！

01

使用Airflow的Twitter数据管道

当你在大数据社区听到数据管道这个词时。

你只需要考虑一件事，就是数据工程师。因为他们的工作是建造、设计和管理管道。所以，如果你想成为一名专业人士，你需要掌握与数据管道相关的技能和工具。

它们是你必须要做的事情。这个项目将教你Airflow的基础知识和如何建立一个数据管道。

你将会学到：

Python for DE, BasicAirflow，使用Twitter数据包- Tweepy，并编写ETL作业-将数据存储在Amazon S3上。

Here you go （https://www.youtube.com/watch?v=q8q3OFFfY6c）

02

YouTube端到端数据工程项目

这是一个3小时长的项目，你将执行一个完整的数据工程项目。

演讲者将指导你的每个步骤，并分享每个细节。我鼓励你做这个项目，特别是作为一个初学者。这个项目教授的是，如何理解商业问题并像DE那样思考？

在这个项目中，你将学习：

Python和PySpark, SQL，亚马逊网络服务(AWS) - Athena, Glue, Redshift, S3, IAM, Lambda, Quicksight

Here you go （https://youtube.com/playlist?list=PLBJe2dFI4sguF2nU6Z3Od7BX8eALZN3mU）

03

Surfline仪表板

在这个项目中，你将通过管道从surline API收集数据，并将CSV文件导出到Amazon S3。

在此之后，你将下载S3中的最新文件，以被摄取到Postgres数据仓库中。最后，你会得到一个漂亮的显示数据的仪表板。

你将会学到：

AWS S3、Airflow、熊猫、Postgres和Ploty。

Here you go（https://github.com/andrem8/surf_dash）

Author- Dashboard：https://github.com/andrem8/surf_dash

04

FinnHub流数据管道

这个项目的目标是通过一个健壮的架构向用户提供实时的财务数据。

你将会是基于FinnHub.io的流数据管道。API—用于实时交易数据的网络插座。你还将处理数据架构的设计和实现。

这将实时处理大量数据。

你将会学到：

Apache Kafka,Spark,Cassandra,Kubernetes,lingana,等等。

Here you go（https://github.com/RSKriegs/finnhub-streaming-data-pipeline） 

Author — Dashboardhttps://github.com/RSKriegs/finnhub-streaming-data-pipeline

05

Audiophile End-To-End ELT Pipeline

在这个项目中，你将构建、设计和管理数据管道。

它将从crinunk的耳机和InEarMonitor数据库中提取数据，并为Metabase仪表板完成数据，你还将执行所有DAG任务。

其中包括刮、装和转换数据到仓库。

你将会学到：

AWS S3,Redshift,RDS,dbt(数据转换工具)，Airflow

Here you go （https://github.com/ris-tlp/audiophile-e2e-pipeline）

Dashboard link：https://github.com/ris-tlp/audiophile-e2e-pipeline

原文作者：Uzman Ali

翻译作者：马薏菲

美工编辑：过儿

校对审稿：Chuang

原文链接：https://medium.com/@uzmanali/5-top-data-engineering-projects-to-add-to-your-resume-c2f2ed62add7

本周公开课预告

往期精彩回顾

点「在看」的人都变好看了哦

点击“阅读原文”查看数据应用学院核心课程