DataOps工程师是什么新晋“真香”职位？

今日份知识你摄入了么？

从一个小团队开始，数据工程师（和数据库工程师）开始迎合数据分析师和科学家的要求。最初的请求很简单，不需要花太多时间来完成。随着团队规模的增长，数据工程师承担的额外工作也越来越多，总有一天，数据工程团队会成为业务的阻碍。

数据工程师从满足临时请求开始，偏离了开发新管道、添加新数据来源、修复旧数据问题、做数据建模等主要职责。除了数据分析师和数据科学家的临时请求外，数据工程师还开始处理基础设施、CI/CD、源代码控制、容器、系统管理等问题。

按照惯例来说，数据工程师承担的额外工作是应该由DevOps工程师和系统管理员承担的，但众所周知，数据工程是一个广阔的领域，需要一定的领域知识基础，需要一个不同类型的员工来解决这个问题——一个像DevOps和数据工程师一样思考问题的人，可以处理更多日常运营事务以保持系统正常运行和工作的人。

这个缺失的环节就是DataOps工程师。

由于创新、不断变化的环境和新的趋势、特定的技术、工作概要分解为一个或多个部分（在某些情况下，两个或多个部分会合并形成一个），以满足特定的用例。想想SRE的诞生，它的诞生是因为DevOps的原则缺少了管理高可伸缩性系统所需的角色和职责。如果我们从那一点再快进一点，在过去的几年中，DevOps领域已经分为三部分：核心DevOps、数据DevOps和DevSecOps。

在当前环境中，这些职位的职能和职责可以定义如下：

• 1、DataOps工程师——从基础架构的角度来维护数据系统，并处理日常的数据基础架构问题。DataOps工程师、DBA和SRE之间的交叉点是数据可靠性工程师。

• 2、数据工程师——创建和维护数据管道，为数据仓库建模数据，将数据加载到数据仓库和数据湖，确保业务使用的数据是可靠的。

• 3、数据分析师——从业务的角度分析数据，创建报告，非常了解系统中的所有数据，并支持业务决策。

• 4、数据科学家——全面了解业务，建立统计和机器学习模型，做出预测，支持业务决策。

● 关于数据操作

就像你需要一个程序/项目/产品经理坐在工程团队和业务团队之间一样，你也需要一个DataOps人员坐在工程师和分析师之间。从更广阔的角度来看，拥有这个新角色背后的想法是减少工程和分析团队之间的摩擦，同时将特定的职责委派给这些新的角色。

那么，这个新角色仅仅是关于数据基础设施的吗？

简而言之，不是。借用Brittany-Marie Swanson脸书上说的话：DataOps的重要性主要是关于基础设施的，但它不止于此。

DataOps专注于培养数据管理实践和流程，以提高分析的速度和准确性，包括数据访问、质量控制、自动化、集成，以及最终的模型部署和管理。

目标很明确。数据访问不是数据库管理员的职责吗？数据库管理员这个职位只是遗留流程和基础设施的现实，一个或多个这样的职位已经被新的职位（如数据工程师、DevOps工程师、站点可靠性工程师或DataOps工程师）所包含，同样的道理也适用于质量控制。

成长型公司的每个敏捷团队都需要DataOps工程师。在接下来的一年左右，你将会看到DataOps工程师和其他类似职位（如数据库可靠性工程师）的空缺变得越来越多。希望数据团队能够尽早意识到这个职位的必要性，从而使数据工程师和分析师的压力得以减轻。

原文作者：Kovid Rathee

翻译作者：过儿

美工编辑：过儿

校对审稿：Dongdong

原文链接：https://towardsdatascience.com/bridging-the-gap-between-engineers-analysts-180610dd9370

往期精彩回顾

点「在看」的人都变好看了哦

点击“阅读原文”查看数据应用学院核心课