其他
学术视界｜工业企业数字化转型中的数据治理
随着数据资源的爆炸性增长，企业面临着数据标准不统一、数据信息分散、数据质量参差不齐、开发维护困难等问题，很难满足实时分析和决策的高要求。因此，数据治理对于工业互联网的发展至关重要。
作者：汪洋 王柯 张桃宁 韩蕊 彭艳兵 汤国强
来源：《信息技术与网络安全》2022 年 第 4 期数据治理发展现状
数据治理的相关概念
数据治理的发展历史
工业数据治理探索
工业数据治理体系
工业数据态势
工业数据可划分为操作技术数据(OT)和信息技术数据(IT)。OT数据是工业数据的主要部分，源自工业生产机器设备、自动化采集系统等，包含时序数据和非时序数据。时序数据包括温度、压力、流量等数据。非时序数据包括工业系统的日志数据以及生产调控的经验数据。IT数据主要包括企业资源计划(ERP)、制造执行系统(MES)等业务数据。其中ERP系统主要包括财务、客户关系、供应链管理等数据，MES系统位于上层ERP层与底层控制层之间，主要包括生产调度、质量管理、人员管理等数据。
2） 工业数据特点“隔离性”。工业数据来自多道工序的多台设备，设备独立工作以及工序间数据互不流通，形成一座座“数据孤岛”。“多模态”。工业数据来源多样，结构复杂。除工业生产中所采集的温度、压力、流量等时序数据之外，还包括检测火焰温度等的红外热成像视频数据。“强关联”。工业数据中的关联主要包括：生产指标间的关联，如原料燃料流量、温度、压力的关联；生产过程的关联，如生产工序间的工艺参数关联关系；产品设计制造等环节之间的关联，如仿真过程与产品实际工况间的关联。“高通量”。传感器所采集的时序数据具有设备多、测点多、频率高、吞吐量大、连续不间断的特点。以某工业生产设备为例，数据采样频率为10Hz，单台设备每秒产生16KB的传感器数据，按20台设备全量采集计算，每日将产生约12.87GB的数据，每年将产生4.58TB的数据，呈现出“高通量”的特征。数据带来巨大的存储成本，还存在衔接不连贯、标准不统一、数据不对齐、“脏”数据等质量问题，无法为数据分析提供有效接口，如何提升数据价值密度、提高数据挖掘效率是现阶段亟待解决的问题。
工业数据治理体系研究
在工业领域中，元数据主要包括技术元数据和业务元数据，如图2所示。其中技术元数据具体为：物理资源的元数据(服务器、操作系统等)、数据源元数据(网关地址等)、存储元数据(指标说明、数据结构、存储属性、管理属性等)、共享元数据(接口方式、格式等)等方面；业务元数据具体为：模型元数据(特征工程、评估标准等)、分析元数据(业务流程、业务规则等)方面。基于工业元数据管理，可构建元模型进行元数据自动化采集，实现企业信息化资产梳理、数据地图、数据血缘分析等功能。
3)主数据管理主数据是指满足跨部门、跨业务协同需要的系统共享数据，在各个业务部门中被重复使用，如客户、供应商、资产、产品、物料单、账户等数据。工业主数据管理流程由业务治理、标准治理、质量治理组成，如图3所示。
在工业制造领域中，主数据结合物联网数据可以实现不同的业务场景需求。例如，若要了解或预测物料的库存情况以提高生产调度效率，可将原料消耗的传感器数据与物料单主数据进行关联分析，从而感知到物料的库存情况。因此，通过将高价值、高共享、相对稳定的主数据与物联网数据相关联，结合机器学习、深度学习等算法，可实时评估企业的生产运营情况以做针对性的调整。
4)数据标准管理数据标准管理的目标是设计一套标准体系，包括数据质量标准、数据操作标准、数据应用标准，形成一个可流通、可共享的信息平台。数据标准主要由业务定义、技术定义和管理信息三部分构成，业务定义包括业务、名称和接口等方面的定义，技术定义包括数据类型、数据结构等方面的定义，管理信息包括所有者、管理人员等方面的定义，如图4所示。
在工业制造领域中，大数据标准一般以业界的标准为基础，如元数据管理标准(ISO-11179，CWM，DCMI)、数据质量标准(ISO-8000，ISO-25012)以及数据安全标准(ISO-27001)，结合工业数据的特点对数据进行规范化，一般会包括数据格式、数据质量、数据语义、编码规则、字典值等内容，减少数据孤岛、流转不畅、应用繁琐等问题的发生。
5)数据质量管理数据质量管理是工业数据治理的关键，是数据应用的前提，为企业风险把控、分析决策、生产运营提供更精准的高质量数据，提升工业数据分析的效率。工业数据质量管理如图5所示。
传统的质量评估体系过于繁杂，结合工业数据和业务场景，基于完整性、准确性、规范性、唯一性、一致性、关联性、可追溯性等构建合理的数据质量评估体系，并根据工业实际生产情况，对质量评估体系细化：(1)生产控制数据：生产控制指标若出现不完整、不一致等问题，或导致异常调控不及时等情况发生。因此，对生产控制指标的数据质量管理提高优先级，保障生产流程的正常运转。(2)传感器数据：传感器数据监测生产过程中的运作情况，可实时感知生产异常，并及时优化调整。因此，要提高传感器数据接入的及时性、一致性。(3)故障记录数据：为保证生产设备的稳定运转，需要对设备故障记录进行分析诊断，因此需要保证设备故障记录数据的可靠性和可追溯性。(4)库存物流数据：库存物流管理是生产、计划和控制的基础。通过保证库存物流数据的及时性和完整性，能够优化生产周期，保证生产的良性循环。
6) 数据生命周期管理采用科学的数据生命周期管理能够提高系统运行效率，大幅减少数据储存成本，更好服务客户需求。数据生命周期包含在线阶段、归档阶段、销毁阶段三大阶段，如图6所示。
7)数据组织数据组织的目的是根据数据应用需求，采用标准统一、流程规范的方案分类构建数据资源库，进一步强化大数据内部关联。数据组织主要包括原始库、知识库、主题库等。(1)原始库：原始库保存原始业务场景数据。工业原始数据主要包括设备监测数据、生产流程记录、产品检验数据、生产异常数据及生产运营数据等。(2)知识库：知识库指工业领域的业务经验数据和规则方法集合，包括数据接入、处理、服务以及工业通用模型所涉及的知识性数据和规则方法。工业知识库主要包括原料特性、设备参数、产品设计、生产原理、行业动态等。(3)主题库：主题库对原始数据和资源数据根据分析和服务的目的进行划分，形成不同主题的数据集合。工业数据主题库主要包括人员主题库、设备主题库、原料主题库、生产方法库、生产环境库等。
8)数据安全工业生产中的重要且敏感数据大部分集中在应用系统中，例如原料配方、控制策略等工艺参数数据，以及客户信息、生产计划、资产信息等生产运营数据，敏感数据泄露对企业的影响是不可逆的，凸显出数据安全在数据治理过程中的重要性。数据安全包括以下三点：(1)数据存储安全：包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。(2)数据传输安全：包括数据加密和数据网络安全控制，通过专业数据安全厂商提供技术保障。(3)数据使用安全：基于业务系统层面，建立完善的数据安全管理体系、审查机制。对生产及研发测试过程中使用的各类敏感数据进行严密管理。
9)数据服务数据治理是为了更好地利用数据，是数据应用的基础。基于工业领域的业务需求，大体划分为三个方向：应用支撑、工具应用及业务应用。应用支撑服务包括知识图谱构建、数据服务总线和服务管理等服务类型；工具应用服务包括生产查询检索服务、模型分析服务和数据管理服务等服务类型；业务应用服务包括产品溯源、异常预警和可视化大屏等服务类型。通过对海量数据的集中、整合、挖掘和共享，结合全方位、多层次的数据服务体系，增强了异常处理的实时性和前瞻性，推动工业向信息化、智能化转型。
工业数字化之数据治理实践
本文基于工业数据治理体系，以光纤生产为背景，探索工业数据治理在光纤生产领域的应用实践。采用大数据分布式架构实现对数据的采集、清洗、存储。构建数据地图并进行数据血缘分析，采用智能算法实现数据对齐、生产异常自动识别与预警。对比了数据治理前后产品数据分析的优化效果，搭建了数字化大屏，呈现可视化的数据治理成效，最后总结了数据治理为光纤生产带来的产品质量和效率的提升。
3.1 数据地图数据地图的构建属于数据治理中的元数据管理环节。光纤工业的数据来源广，数量多，分散性强。传统的数据管理方式查找数据的成本较高。通过大数据采集存储技术，追踪从上游产品光纤预制棒至下游产品光缆的各项生产环节的原料、工况、质量等相关数据，能够实现数据串联，打通数据孤岛。数据地图如图7所示。
经过数据治理之后，在对光缆成品进行质量分析时，分析人员能够利用数据地图进行数据血缘分析，跟踪数据来源并分析任务依赖，轻松追溯到上游生产中的光纤拉丝、光纤预制棒生产环节的相关数据，而不仅仅局限于当前的生产环节，从而获得更有价值的分析结果。
3.2 数据对齐数据对齐属于数据治理中的数据质量管理环节。以光纤预制棒的制造为例，由于预制棒在生产过程中发生了多次形变，后期预制棒测试数据无法与前期传感器记录的生产数据相对应。为了展开后续的质量分析研判工作，需要将测试数据与生产数据对齐。通过对预制棒生产过程中的棒体尺寸数据等记录数据，采用膨胀点映射等智能算法对预制棒收缩和拉伸的过程进行建模还原，能够实现各个测试点位与生产时间段的对应，提升数据质量丰富数据量的同时，为后续人工智能建模分析打下良好基础。
图8展示了数据对齐前后预制棒BA比(芯层直径与包层直径之比)的建模预测误差率，曲线越靠下表示预测误差越低。可以看出，经过数据治理后，同样样本量下，由于数据对齐后能够进行测点分段映射，扩充了模型训练数据，使得基于随机森林的回归预测模型建模预测误差率明显降低。
3.3 异常识别与预警传统异常告警机制具有告警模型单一，人工识别工作量大等缺陷，人工标注效率较低，而且误标、漏标率较高。光纤工业的常见异常类型包括脉冲型异常，阶跃型异常以及模式异常，基于大量数据采用时序差分特征和时间窗统计特征构建的时间序列异常识别模型，能够实现复杂环境下的异常告警需求，同时极大提高历史异常识别效率，原本进行数据的收集、整理，再人工对异常进行标注的工作需要花费数天时间，通过数据治理集成异常识别模型后，只需要花费几分钟的时间即可完成历史异常的识别和分析。
3.4 数据分析周期优化在光纤工业中，针对产品品质的数据分析是生产过程中的重要环节，需要不断通过分析确定工艺参数的调整方向，以此改善生产品质，保证生产稳定性。开展数据治理前，数据分析的周期长、工作量大，分析的数据量也比较有限。在实施数据治理之后，采用云端采集和在线分析，代替过去手动采集和离线分析的方式，同时保证了数据的准确性和完整性，大大减少分析人员在繁琐的数据预处理任务中耗费的时间。数据治理前后对比如表1所示。
表1 数据治理前后对比
3.5 数字化大屏将数据治理工作通过可视化方式展现，直观体现数据治理成果，提供企业运营、生产状况、产品画像等主题的大展示，实时呈现光纤工业生产运营状况，如图9所示。
3.6 产品质量与效率提升目前，企业在光纤预制棒、光纤拉丝中有诸多方面的提升，如表2所示。其中在光纤预制棒阶段，生产过程中内部形成杂质和气泡，会严重影响后续光纤拉丝过程。经数据治理后，数据质量提高，通过数据分析与建模，不断优化生产工艺，有效降低预制棒的气泡缺陷率，改善光纤预制棒的均匀性和重复性，良品率大幅度提升，达到投产门槛；在光纤拉丝阶段，在拉丝提速、塔断及告警反馈等方面的业务痛点方面有明显的改善，拉丝良品率有效提升。
表2 产品质量与效率提升
结 论
本文介绍了数据治理的发展现状，分析了工业数据的特点，构建了一套面向工业的数据治理体系，并结合数据治理应用案例验证数据治理的成效。以光纤生产为背景，应用案例表明，该工业数据治理体系作为工业数字化转型的支撑点，能够极大简化数据管理流程，减少人工工作量，提高数据价值密度，提升数据挖掘效率，为不同的业务分析场景提供高质量的数据接口，有效推动企业向数字化、智能化发展。
公众号简介
“数字经济与商业模式”公众号依托国家自然科学基金重大项目“数字经济中数据要素有效使用与消费者保护”研究，由项目负责人乔晗教授课题组运维，致力于追踪数字经济与商业模式创新研究与实践最新进展，分享课题组成员的最新研究成果，提供高质量的公立研究机构第三方洞察观点。欢迎共同交流探讨！
投稿、意见，请直接回复或发信debm_ucas@163.com
。END。
点击下方链接，查看更多往期文章
课题组专家介绍数字经济与商业模式课题组主要成员|专家介绍
数字经济热点习近平心中的“数字中国”习近平：不断做强做优做大我国数字经济热点研究| 数字社会治理
实践前沿实践前沿丨工业互联网提升产业链供应链现代化水平研究报告（2022年）
实践前沿丨国务院公布扎实稳住经济一揽子政策措施，关于平台经济重点提到这几点！
实践前沿| 北京市数字经济全产业链开放发展行动方案出炉！
学术视界学术视界｜《管理世界》：平台化如何助力制造企业跨越转型升级的数字鸿沟？——基于宗申集团的探索性案例研究学术视界 | Organization Science 数字创业中的开源合作:基于GitHub数字社区的实证研究
学术视界 |《管理世界》智能互联产品重塑企业边界研究：小米案例
数字经济周刊数字经济学术｜周刊·第71期｜2022.06.06-06.12
数字经济政策&热点｜周刊·第71期｜2022.06.06-06.12
数字经济政策&热点｜周刊·第70期｜2022.05.30-06.05
数字经济学术｜周刊·第70期｜2022.05.30-06.05
数字经济学术｜周刊·第69期｜2022.05.23-05.29数字经济政策&热点｜周刊·第69期｜2022.05.23-05.29