朱禹涛等：面向智慧工厂的工业互联网边缘智能协同计算技术研究

0  引言
工业互联网已成为全球制造业发展的新趋势，我国作为制造业大国，为了应对新一轮科技革命和产业变革，从战略规划与技术推动等多方面开展了相关行动。习近平总书记在制造强国战略重要论述中要求，推动制造业高质量发展，坚定不移建设制造强国。在新基建的推动下，5G、人工智能、云计算等技术与传统工业深度融合，为实现智能制造提供了技术支撑，将有力促进制造强国早日实现。国际上，德国提出“工业4.0”、美国提出“先进制造业国家战略计划”、日本提出“科技工业联盟”、英国提出“工业2050战略”，也都是为了实现信息技术与制造技术深度融合的数字化、网络化、智能化制造，实现智慧工厂^[1]。在智慧工厂建设中，工业互联网赋能智能制造，工业互联网作为关键技术手段，通过对工业要素的互联互通、相关要素的深度协同，实现了设备管理精细化、生产过程一体化、企业管理标准化、分析应用数据化和决策支持科学化^[2]。
边缘智能是边缘计算与人工智能相互结合的一种新兴技术方案，其发展对边缘计算和人工智能具有双赢优势：一方面，边缘数据可以借助智能算法释放潜力，提供更高的可用性。随着万物互联的发展，边缘数据需要借鉴智能算法进行分析，实现智能化的功能。以深度学习为代表的智能算法能从边缘数据中提取实时信息以提高决策的效率和准确性^[3-4]。另一方面，边缘计算能为智能算法提供更多的数据和应用场景。传统的人工智能和大数据应用都存放在云端服务器和大数据中心^[3-4]，而边缘智能技术在网络边缘部署具备通信与计算能力的边缘设备（称为边缘节点），直接从物端设备获取海量数据并实现智能计算，将有力推动人工智能应用的进一步普及与发展，特别是工业互联网相关的应用^[5]。但边缘智能技术发展面临多方面困难，包括人工智能算法的资源需求与边缘节点资源有限之间的矛盾、智能任务需求多样与边缘节点设备能力单一之间的矛盾等。边缘智能协同计算系统由中心云服务器、边缘节点、物端设备之间的协作组成，可以有效地解决上述矛盾。
基于边缘智能协同的工业互联网体系，解决了边缘节点计算资源受限的难题，满足了智能制造等工业应用场景对任务响应时延的要求。本文所提边缘智能协同计算主要是考虑多个边缘节点之间的协同，通过合理优化任务分配策略，在工业互联网网络边缘完成各种应用的智能计算，既可以减轻单一边缘节点的计算压力又可以满足各类人工智能算法对算力的需求，在满足工业互联网智能计算应用需求的同时避免了云服务器到物端设备的计算任务的通信开销。进一步地，为了降低边缘节点部署的软硬件开销，本文提出了相应的边缘智能模型轻量化方法，提升边缘智能协同计算技术的可扩展性，有助于面向智慧工厂的工业互联网络的广泛应用。
1  基于边缘智能协同的工业互联网体系
未来智慧工厂的应用需求，例如基于视觉检测的故障缺陷自动检测、集中远程操控等，需要实现工业生产效率提升、工业投资有效提升、安全生产性能提升。在智慧工厂中，远程操控类、无人搬运车及移动监控类业务对于响应时延要求非常高，除了网络传输时延之外，人工智能的计算时延、大数据分析的处理时延等也至关重要。因此，本文在工业互联网体系中引入了边缘智能协同概念，设计了相应的基于边缘智能协同的工业互联网体系架构。在如图1所示基于边缘智能协同的工业互联网体系架构中，从边缘设备到云端主要包括以下功能模块。
图1  基于边缘智能协同的工业互联网体系架构
（1）工艺建模与参数优化模块：通过边缘设备和传感器等采集工厂生产线、运营系统等数据，通过大数据分析与工艺建模，得到最优的工艺参数配置，并结合人工智能算法获得工艺参数调优方法，实现工业生产效率的提升。
（2）边缘智能协同与算法实现模块：针对智慧工厂基于人工智能的垂直应用高计算容量需求与实际生产环境下边缘设备计算能力有限的典型矛盾，利用边缘智能协同计算技术实现边缘设备高效实时信息采集与处理。典型应用包括有色金属加工行业中的铜箔质量实时监测与生产设备故障预检等。
（3）无线空口安全防护模块：针对工业互联网应用中无线传播特性下存在的空口安全隐患，提供无线空口安全防护能力，例如检测违法终端与基站、防御多种安全攻击等，以确保厂区无线通信环境安全可控，提升安全生产性能。
（4）云边协同智能管控平台：针对上述功能模块，形成云边端一体化系统与管控平台，支持大数据存储分析、人工智能建模与算法实现、可视化界面管理。本文给出的基于边缘智能协同的工业互联网体系架构设计方案充分利用了边缘智能协同计算能力，满足智慧工厂各类应用的性能要求，提供确定性业务保证的能力。
2  边缘智能的协同计算任务分配
通过进一步利用边缘节点强大的可计算的扩展能力，可以在边缘环境架构下实现对深度学习的神经网络模型的并行训练，以达到时延更小的目的，更好地将云服务器计算量卸载到边缘。分布式模型的并行训练包括不同任务网络模型间的并行训练、同一任务网络模型内部的并行训练两个方面。
2.1  不同任务网络模型间的并行训练在实际场景中通常存在多种任务需要同时进行处理，包括质量检测、视频监控、危险预警等任务。受益于边缘节点的多任务计算能力，可以在边缘节点中部署多种任务的子模型，以达到在某一边缘节点进行不同的数据分析处理任务的目的。
边缘节点可以将从传感器设备接收到的数据执行分配到的任务，通过将自身的子任务模型得到的结果传输至云服务器，并且同时对自身的子任务网络模型进行训练，而后将多个子任务网络模型训练得到的权重分别传输至云服务器进行模型同步。云服务器一般具有任务分配、资源分配、数据管理以及数据可视化功能。云服务器可以根据边缘节点的算力不同以及任务的优先级不同给边缘节点分配不同的子任务与资源，并且根据各个边缘节点更新得到的任务网络模型的权重对模型进行同步，而后分析汇总各个边缘节点的子任务执行结果，对相应数据结果进行可视化展示。为了进一步降低时延，每隔一定周期根据任务复杂度与边缘节点的计算能力之间的关系分配任务，以达到减少信号处理任务完成时间的目的。
2.2  同一任务网络模型内部的并行训练对于质量检测、视频监控等涉及图像处理的任务，可以在不同边缘节点之间实现同一任务网络模型内部的并行训练，包括卷积层与全连接层的训练并行化。
（1）卷积层的训练并行化：假设输入卷积层的图像或者视频帧数据矩阵为X，卷积核矩阵为F，将X与F进行卷积相乘后得到特征矩阵A。根据卷积层的特性，多个卷积区域间互不产生影响，因此可以将X拆分为多个卷积区域进行并行卷积，从而达到进一步降低时延的目的。将每个卷积区域分别与滤波器参数矩阵卷积，可以组成特征矩阵A，其中的每个元素都是基于X和F中对应的卷积区域计算的。不同的任务可以同时访问X中不同的卷积区域而不需要更新它们的值，这些任务之间不存在数据依赖性。
（2）全连接层的训练并行化：全连接层部署着多个神经元，每层的神经元均与前一层的神经元全部相连。设在第i层的L_i一共有n_i个神经元，每个神经元与前一层的n_i-1个神经元全部相连，但是此层的神经元均相互独立，因此每层的每个独立的神经元可以进行并行计算。
2.3  权重更新与模型同步对于每一个边缘节点，需要根据传感器接收到的数据进行实时的子任务模型训练与更新，而由于边缘节点的算力不同、存储资源不同可能导致多个边缘节点的工作负载、传输能力不在同一等级上，因此需要云服务器对边缘节点的子任务模型进行同步。权重更新与模型同步的步骤如下。
（1）协同初始化：云服务器在给各个边缘节点分配子任务时，由云服务器同时给每个子任务网络模型赋予相同的全局权重系数W⁰，其可以由云服务器提前对一些输入数据进行训练得到。
（2）边缘节点本地权重的更新：边缘节点通过分配到的子任务网络模型的初始全局权重W⁰对输入数据进行分析，并将这些数据传输至云服务器进行数据可视化展示。同时，边缘节点m根据输入数据对本地权重系数 W⁰_m进行更新，更新为W¹_m，待到迭代一定次数后，将其传输至云服务器。
（3）云服务器全局权重的更新：云服务器接收到一定迭代次数后全部边缘节点的本地权重系数W¹_m之后，根据W¹_m通过对原来全局权重系数进行分析调整后，即可得到新的全局权重W¹，其更新的公式为：其中，Q_m为每个边缘节点的本地权重在全局权重更新过程中的系数，而后再将该系数广播到所有的边缘节点上完成模型同步。最后，重复步骤(2)、(3)即可不断地更新边缘节点之间的模型直至达到完全收敛。

3  边缘智能计算模型轻量化
在智慧工厂应用中，大部分面向机器视觉的智能计算任务一般使用深度卷积神经网络进行计算，其巨大的参数量和通道量使习得的神经网络模型在应用中需要消耗大量的存储和计算资源，这对模型在移动端和嵌入式设备上落地带来困难。因此，为了适应终端有限的内存和计算条件，有必要在模型正式部署前对神经网络进行优化。本文采用基于知识蒸馏的边缘智能计算模型轻量化方法。知识蒸馏是一种通用的神经网络轻量化方法，通过对教师模型所习得的知识进行学习，以获得网络更加紧凑的学生模型，并且能够在节省内存占用的同时很好地保留原始网络的性能。
基于知识蒸馏的神经网络轻量化训练流程如图 2(a)所示。可采用多任务的学习方法，将训练好的教师模型的输出结果s^T以及数据的真实标签y作为学生模型的目标来训练学生模型，以使学生网络的输出结果接近目标值。训练完的学生模型还可直接应用到实际部署的具备边缘智能能力的设备中，具体参见图2(b)。
图2  基于知识蒸馏的神经网络轻量化训练流程
具体来说，可以把模型看成一个黑盒子，把知识定义为输入到输出的映射关系。采用网络的Softmax输出结果作为学习任务的目标进行训练，公式为: 其中，x_i表示输入x的第i个元素，Softmax表征了网络对输出结果的预测概率，并利用T因子缩小不同结果的概率差距，以使训练目标能够提供更多的类别间和类内信息。同时，因为训练时使用了有标签的数据，将标签y与学生模型的Softmax分布的交叉熵加入到损失函数中，加入更多的监督信号，可以改善学生模型的表现。

4  结束语
本文提出了基于边缘智能协同的工业互联网体系，研究了边缘智能协同计算任务分配与边缘智能模型轻量化方法。边缘智能协同计算技术实现了在工业互联网网络边缘完成各种应用的智能计算，解决了边缘节点计算资源受限的难题，满足了智能制造等工业应用场景中对任务响应时延的要求，有助于面向智慧工厂的工业互联网络的广泛部署与应用。
参考文献
[1] 宋慧欣. 和利时: 深拓FA, 布局智能工厂[J]. 自动化博览, 2016(8):20-22.[2] 郭义伟. 2023年实现集团全覆盖[N]. 中国煤炭报, 2019-07-09(008).[3] 施巍松, 张星洲, 王一帆, 等. 边缘计算: 现状与展望[J]. 计算机研究与发展, 2019,56(1):69-89.[4] 张星洲, 鲁思迪, 施巍松. 边缘智能中的协同计算技术研究[J]. 人工智能, 2019(5):55-67.[5] 李肯立, 刘楚波. 边缘智能: 现状和展望[J]. 大数据, 2019,5(3):69-75.

作者简介

 朱禹涛 

金砖国家未来网络研究院中国分院院长，正高级工程师，主要从事移动通信与网络技术研究工作。

 肖 霖

南昌大学教授，主要从事工业互联网、未来移动通信等关键技术研究工作。

 陈泽仁 

江西鑫铂瑞科技有限公司董事长，主要从事智慧工厂应用与示范研究工作。

 陈晓东

江西鑫铂瑞科技有限公司总经理，主要从事智慧工厂应用与示范研究工作。

论文引用格式

朱禹涛, 肖霖, 陈泽仁, 等. 面向智慧工厂的工业互联网边缘智能协同计算技术研究[J]. 信息通信技术与政策, 2021,47(3):1-5.

本文刊于《信息通信技术与政策》2021年 第3期

主办：中国信息通信研究院

《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”，聚焦信息通信领域技术趋势、公共政策、国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。

《信息通信技术与政策》官网开通啦！

为进一步提高期刊信息化建设水平，为广大学者提供更优质的服务，我刊于2020年11月18日起正式推出官方网站，现已进入网站试运行阶段。我们将以更专业的态度、更丰富的内容、更权威的报道，继续提供有前瞻性、指导性、实用性的优秀文稿，为建设网络强国和制造强国作出更大贡献！

http://ictp.caict.ac.cn/ 

（点击“阅读原文”访问）

校  审 | 陈  力、珊  珊

编  辑 | 凌  霄

”

推荐阅读

中国信通院许慕鸿等：MEC技术发展分析研究
《新基建》专辑