查看原文
其他

新兴数据岗位:Analytics Engineer分析工程师是什么?

Lia 大数据应用 2022-10-18

今日份知识你摄入了么?

几个月前,我决定踏上新的职业道路,换一份工作。我一直想找一个自己很感兴趣的工作,在 LinkedIn 上浏览了几周招聘信息后,我发现了一个规律。


当时,虽然我是一名数据工程师,但我想要有更多机会能让我在发挥创造力的同时,与业务团队密切合作。但在技能方面,我与数据分析师不太匹配,我也不想继续做传统的数据工程师。


就在那时,我看到了分析工程师(Analytics Engineer)这个职位。


图片来源:Unsplash 摄影:Brooke Lark


这个职位符合我所有想要的岗位要求。我以前没听说过这个职位,但是我却感到非常好奇。这个职位完美结合了我已掌握的工程技能,以及我一直在寻找的商业机会。


分析工程师需要什么技能?


  • SQL

  • Python

  • Dbt

  • 数据可视化

  • 沟通能力强


首先,让我们看看分析工程师需要掌握的技术和工具。成功的分析工程师的特点之一,就是熟练地掌握SQL。分析工程师需要编写大量的查询和数据模型,所以在面试这个职位之前,你必须重复练习所有聚合和窗口函数。


有用 Python 编写代码的经验也很重要。与传统的数据分析师相比,分析工程师需要掌握更多的编程知识。分析工程师不一定了解 Java script 和 C++ 这些软件工程语言,但他们更了解 SQL 以外的更高级的“数据”语言。Python就非常地常见,常用于分析工程师的数据编排服务和数据科学模型工作中。


下一个技能也很重要。公司经常会找有 dbt工具经验的人。dbt 是一种转换工作流,可以让团队按照模块、可移植性、CI/CD 、文档等软件工程的最佳实践,快速协作部署分析代码。创建 dbt 的公司本质上就是塑造分析工程师这个职位!没有 dbt,分析工程师就无法进行分析工程。他们之间密不可分。


与数据分析师一样,分析工程师也应该拥有创建有影响的数据可视化的经验。分析工程师可以将数据中的发现传达给业务团队,这一点很重要。如果分析结果不容易理解和实施,那分析又有什么用呢?工具没有好与不好之分,分析工程师必须熟悉各种各样的工具。


分析工程师的工作职责是?


你可以把分析工程师理解为——负责管理公司数据栈的人。虽然根据公司的大小不同,数据工程师的工作职责有所不同,但基本都包括以下几点:


  • 数据建模

  • 数据仓库管理

  • 数据编排

  • 设置最佳实践

  • 交叉协作


分析工程师主要控制ETL(提取、转换、加载)过程。你会通过实施并管理数据仓库(例如 Snowflake)来处理数据。在这个过程中,分析工程师会使用最佳工具,将不同来源的数据提取到该仓库中,然后对分析师要使用的数据进行建模,并确定进度表,简化这些模型。数据建模占也是分析工程师日常工作的很大一部分。


需要分析工程师的工作,都是从头开始构建一个全新的数据生态系统。如果你想负责大型项目,并从根本上改变公司使用数据的方式,那么这个职位对你来说再适合不过了。


到目前为止我的收获


截至目前,我只有 3 个月分析工程师的经验,但却收获颇丰。我设计了Snowflake 架构,并投入了实施,将它作为公司数据的一站式商店。与此同时,我还彻查并重建了 dbt 中的许多核心数据模型。目前,我正在用 AWS Fargate 和 Prefect 来部署这些模型。


如果你对以上任何一个工作内容感兴趣,那么我强烈建议你看看分析工程师的招聘信息。不要让这个你不熟悉的头衔让你感到畏惧,而却错过了一个可能很适合你的角色!

原文作者:Stephen Miracle

翻译作者:Lea

美工编辑:过儿

校对审稿:Jiawei Tong

原文链接:https://levelup.gitconnected.com/the-2-types-of-software-engineers-every-successful-product-team-needs-11952e937def

本周公开课预告


往期精彩回顾


不了解数据建模方法?看这篇就对了

数据科学家,知道这些统计知识就对了

想转行数据科学吗?这里有三种场景和方法

想快速学习数据科学?技巧经验都在这儿!

如何准备Front-End Back-End岗位面试?





点「在看」的人都变好看了哦

点击“阅读原文”查看数据应用学院核心课程

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存