【金猿案例展】FPD领域龙头企业某T社——基于ADC的智能质检服务

Original 数之联数据猿

数之联案例

本项目由数之联投递并参与“数据猿年度金猿策划活动——2021大数据产业创新服务企业榜单及奖项”评选。

数据智能产业创新服务媒体

——聚焦数智 · 改变商业

由于面板制程工序多且复杂，其制程工序的智能化发展是突破“智能制造”的重要环节。而质量检测贯穿电子制造全程，对于控制产品质量起到决定性作用。在生产过程中检测和修复各类缺陷也能够使制造商改进其生产过程，避免成本进一步提高。

FPD领域龙头企业某T社，其Array/OLED工艺会带来种类繁多的缺陷，缺陷由AOI（自动光学检测设备）检出后会有数十位OP进行分类，且每日判图量达到数十万。目前AOI、点灯机等机台检测大多只拍摄照片，不能判别缺陷类别，需要产线作业员依据经验在人工判图系统或以查看本地图片的形式判别缺陷类型，人工判图效率低下，工厂也面临着大量的人力投入、人力流失带来检测准确率下降的问题从而影响良率。

实施时间：自动缺陷检测分类系统（ADC）在集团下属的武汉工厂试点，于2020年10月启动，逐步根据站点上线，2021年10月实现全面的上线运行。

应用场景

面板产业主要是指用于电视、台式电脑、笔记本和手机等电子设备的触控显示面板产业。当今时代已经是信息的时代，信息显示技术在人们社会活动和日常生活中的作用日益剧增，人类信息的获取80%来自视觉，各种信息系统终端设备与人之间的交互都需要通过信息显示来实现。面板产业已经成为了光电产业的龙头，在信息产业中仅次于微电子行业，成为了最重要的产业之一。

从产业链来看，面板产业可以分为上游基础材料、中游面板制造以及下游终端产品。其中，上游基础材料包括：玻璃基板、彩膜、偏振片、液晶、靶材等;中游面板制造包括：列阵(Array)、成盒(Cell)、模组(Module);下游终端产品包括：电视、电脑、手机和其他消费类电子。

近年来，随着消费升级以及5G技术的发展，消费者对显示终端需求提出了更高的要求，对面板生产厂家也有了更高的要求。尽管制造过程自动化程度已经非常高，但是生产出来后一定要做产品的质量检测，这是必不可少的环节。

面临挑战

该企业Array/OLED工艺会带来种类繁多的缺陷，缺陷由AOI检出后会有数十位OP进行分类，每日判图量数十万。按照传统人力检测方式，会有人眼疲劳、效率低、主观性大、误检、漏检率高等问题。

相比于人工检测，AOI机器视觉检测可靠性和效率都更高。但AOI 检测常遭诟病的问题是：误报率（False Alarm）过高。AOI拍摄的缺陷照片中不是背景复杂缺陷极小，就是缺陷间形态特征差异小，混淆程度高，给分类造成极大困扰。

整个判片过程会消耗大量人力，给工厂运营带来巨大压力；同时人工判定缺陷类别效率低，异常无法及时反馈，可修复产品无法及时得到修复，从而导致良率损失及维修机台产能损失；并且人员间差异、状态、熟练程度不同，易造成误检和漏检，影响生产效益。

目前在自动缺陷检测与分类系统方面，解决的就是先进制造企业产线上AOI拍摄的缺陷图像的缺陷检出与分类问题、判定结果的应用问题。

技术应用与实施过程

数之联图像自动缺陷检测与分类系统（ADC）为企业提供高精准的缺陷分类结果，该系统方案设计思路是通过实时监测客户DFS中的图片和图片信息文件动态增量情况，以实时或者批量采集方式将图片同步到自动缺陷检测分类系统（ADC）图片存储中，并解析信息文件以及图片存储地址写入消息队列，系统会读取待判图片进行预测，并将结果写入对应的存储。其中，预测是调用在线的算法预测服务。通过融合深度学习算法服务的系统功能实现代替了部分原有的OP人工判图工作。

系统模块如下：

系统架构如下：

核心功能如下：

1）缺陷检出：系统自动对AOI、点灯机、mask等图像进行缺陷检测，对缺陷类型CODE进行判决，并标注缺陷的位置、大小等信息，辅助人工复判。

2）缺陷分类：基于深度视觉处理引擎iDeepViewer，突破传统图像处理技术的瓶颈，提供高精准的缺陷分类结果。

3）缺陷判定：系统依据客户业务规则，对缺陷后道规则处理并进行最终类型判定。

4）数据交互：以直连、dblink、tibco等通信连接方式与DFS、EDA、MES等系统对接，获取数据源及回传判图结果。

针对该项目的创新性如下：

（1）技术创新性：

① 深度学习技术。利用深度学习技术构建深度卷积神经网络模型，通过end2end方式让机器学习到面板不良图像中缺陷因素之间的深层逻辑关系。

② 缺陷自动检测技术。基于深度学习算法Mask-RCNN实现，采用softmax分类器，使用交叉熵损失函数，预测不良图像类别。

③ 缺陷智能定位技术。基于面板不良图像的周期性特征，提出一种采用模板匹配的方法进行缺陷定位。

④ 缺陷关联分析技术。采用机器学习分类模型或回归模型实现生产过程影响要素和缺陷之间的多因素相关模型，并通过各种模型实现生产要素的影响程度排序。

⑤ 模型管理：综合管理深度学习模型和机器学习模型，集成管理多个深度学习框架和机器学习框架。

⑥ 服务管理：采用训练好的模型，映射站点、业务场景等情况并发提供在线预测服务。

（2）模式创新性：

① 基于深度学习目标检测算法的智能缺陷识别。

② 通过一种服务的动态感知以及权重策略，实现预测服务负载以及高可用。

③ 采用虚拟化技术，综合管理容器中深度学习模型和机器学习模型。

④ 实现GPU动态分配以及服务动态分布方法。

（3）应用创新：

① 本项目构建的基于深度学习的产品缺陷自动检测与分类系统，实现缺陷位置的自动定位及缺陷Code 的分类，实现缺陷问题的汇总分析。系统将利用人工智能自动判定产品缺陷代替传统人工判定方式，节省人力成本并实现产品质量的有效监控。

② 本项目构建的基于电子信息制造大数据的缺陷关联分析优化系统，能够自动清洗、整合和分析电子信息制造的各种类型数据，分析缺陷和各生产要素的相关性，实现设备路径分析及多因素组合性分析，帮助企业更好定位问题，缩短缺陷定位时间，提升产品良率。

商业变化

通过采用图像自动缺陷检测与分类系统（ADC），该企业核心业务指标得到大幅提升：

（1）每秒约判2张提效到每秒约判10张并减少风险批数量，ADC检测为毫秒级；

（2）提高准确率：人眼识别准确度在90%，机器准确率基本能超过95%。

在精密制造领域，每一个千分位的变化都是巨大的成本节约，也是非常重要的技术表现。同时切实为企业节约30%-80%质检人力，降低成本上百万，极大缩减检测时间，提升生产效率。

数之联，成立于2012年，坚持“数据价值发现专家”定位，以“让制造更智能、城市更智慧”为使命，始终致力于成为数据智能行业引领者。