基于双目视觉的焊接熔池表面三维重建 | CJME论文推荐
Gu, Z., Chen, J. & Wu, C. Three-Dimensional Reconstruction of Welding Pool Surface by Binocular Vision. Chin. J. Mech. Eng. 34, 47 (2021). https://doi.org/10.1186/s10033-021-00567-2
焊接技术是决定现代制造业产品质量的重要工艺之一，实现焊接过程的实时反馈控制，是提高焊接质量的重要手段。实践证明，熟练焊工能够从熔池表面获得丰富信息，依托长期经验积累快速、准确调控焊接过程。因此，如果能将焊工视觉经验转化为人工智能控制，无疑能将工人从繁重的工作中解放出来，大幅度提高焊接效率与质量，推动焊接智能控制的发展。
目前，双目视觉测量方法拥有设备结构简单、测量效率高、实时性强等优点，是目前非接触实时检测与质量控制等领域快速发展的视觉传感检测技术之一。但焊接过程中具有强磁强电、烟尘飞溅、弧光高温等特点，限制了双目视觉成像质量。因此，提高双目立体视觉算法的抗干扰能力，精确重现电弧下方熔池表面三维形貌，对于实现焊接智能化控制与生产具有重要的理论意义和工程实用价值。
GMAW双目视觉检测系统包括GMAW焊接系统、同步触发系统和双目视觉检测系统三部分。焊接系统包括GMAW弧焊电源、GMAW焊枪、供气系统、工件夹具及可移动焊接平台；同步触发系统负责控制两台CCD相机对熔池图像的同步采集及停止；双目视觉检测系统包括两台彩色CCD摄像机、滤光片及图像处理程序，如图1所示。
图1 熔池图像双目视觉检测系统
采用德国Basler公司生产的acA2000-165uc-ace型RGB彩色相机，感光芯片为CMOS，靶面尺寸2/3"，实验图像分辨率600pix ×500pix，采集频率200fps，利用USB3.0与计算机连接进行高速数据传输。相机镜头为工业C口非广角定焦镜头，焦距35mm。为了尽量在减小强烈弧光的干扰的同时增大可观测熔池区域，通过实验发现，相机主光轴与工件所在平面的夹角为25 º~30 º、物距为200 mm-300 mm、光圈选用f/5.6、曝光时间为40μs时具有较好的熔池检测效果。
建立双目视觉检测系统，采用图像HSV色彩空间转换，提高熔池特征提取的准确性；利用双边滤波算法，降低熔池图像噪声干扰；改进Canny边缘检测算法，有效去除电弧图像，实现熔池图像预处理。
引入特征点及其邻域内像素点的色彩信息，利用带有色彩信息的方差和均值构成70维特征描述符。实验结果表明，改进SURF-BRISK-KAZE算法鲁棒性强，可获取大量特征点，具有较好的尺度、仿射、光照、旋转不变性。
采用斜率约束和欧氏距离约束的数据预处理模型，显著降低运算数据量，加快RANSAC算法误匹配消除速度。
基于预设坐标系的标定系统，构建出熔池图像像素坐标与熔池实际世界坐标间的对应算法，实现熔池特征点云恢复。利用LOWESS拟合算法，实现了电弧下方熔池表面形貌的三维重建。如图2所示。
图2 电弧下方熔池表面形貌的三维重建（240A, 33V, 0.6m/min）
通过在工件上预置示踪粒子开展验证试验，检验特征点提取、匹配和误匹配消除算法以及三维重建结果的可靠性。
实验验证的计算机环境为Intel®Core™i7-9750H的4核CPU，主频2.60GHz，内存16.0GB，系统类型为基于x64的Windows 10操作系统，采用MATLAB作为开发软件。
KAZE算法除不具备旋转不变性外，但其抗干扰性优于SURF和BRISK。BRISK提取熔池边缘信息的作用不可替代。SURF-BRISK-KAZE改进算法更具优势，其匹配分数比KAZE算法至少提高了5%，具有较好的仿射、尺度和旋转不变性，同时可以有效抑制噪声、图像模糊和光照变化的影响，如表1所示。
利用标准数据库图像和熔池图像对RANSAC改进算法和传统RANSAC算法进行对比。结果表明， RANSAC改进算法比传统RANSCA算法正确率提高3%以上，运行时间的效率百分比提高了至少160%。
实验结果表明，针对明确示踪粒子，经双目视觉三维定位后，其世界坐标在Z方向上最大绝对误差小于0.07mm，最大相对误差小于6%，熔池三维重建结果具有较高的精度和可靠性。该系统也可用于焊缝成形三维形貌重建，如图3所示。
图3 焊缝成形三维重建
（1） 提出了SURF-BRISK-KAZE 改进算法以及包含斜率约束和欧氏距离约束的RANSAC误匹配点剔除改进算法。
（2） 验证显示，改进算法能够有效提高基于双目视觉的熔池表面三维重建精度，对于明确特征点，其三维坐标最大误差小于6%。
（3）下一步工作重点在于建立熔池表面三维特征数据与焊缝成形间的定量关系，搭建焊工视觉经验向人工智能数据迁移的桥梁； 搭建CUDA计算平台，大幅度提高电弧下方熔池表面三维形貌重建速度。
焊接熔池双目立体视觉是利用两台高速相机从不同角度同时拍摄同一熔池，获得两幅熔池图像并进行特征点匹配，利用视差原理依据有效特征匹配对重建熔池表面三维形貌的一种新兴技术。双目立体视觉拥有设备结构简单、测量效率高、重建精度高等优点，是目前非接触实时检测与质量控制等领域发展最快的视觉传感检测技术之一。
设计和优化熔池表面特征点检测及匹配算法，实现基于双目视觉的焊接熔池三维重建对于减少人力资源成本、降低职业风险、实现焊接过程可控化、智能化、高效化具有重要的工程实用价值。
[1] W J Zhang, J Xiao, Y M Zhang. A mobile sensing system for real-time 3D weld pool surface measurement in manual GTAW. Measurement Science and Technology, 2016, 27: 045102.
[2] Z Chen, J Chen, Z Feng. 3D weld pool surface geometry measurement with adaptive passive vision images. Welding Journal, 2019, 98: 379s-386s.
[3] T Janumala, K B Ramesh. Development of an algorithm for vertebrae identification using speeded up robust features (SURF) technique in scoliosis x-ray images. Image Processing and Capsule Networks(ICIPCN 2020). Bangkok, Thailand, May 6-7, 2020: 54-62
[4] A Khare, B R Mounika, M Khare. Keyframe extraction using binary robust invariant scalable keypoint features. Twelfth International Conference on Machine Vision(ICMV 2019), Amsterdam, Netherlands, Nov 16-18, 2019:UNSP 1143308.
[5] R Zong, J Chen, C S Wu et al. Undercutting Formation Mechanism in Gas Metal Arc Welding. Welding Journal, 2016, 95: 174s-184s.
武传松，山东大学材料科学与工程学院，教授。武传松教授长期从事焊接熔池形态和传热过程、搅拌摩擦焊接热物理过程数值分析与实验测试的研究工作，在国际、国内焊接领域有较大的学术影响力。因其“在焊接科学、工程和技术领域取得的杰出成就和突出贡献”， 2017年当选为美国焊接学会会士（AWS Fellow），是第一位被授予AWS Fellow荣誉称号的中国（大陆）籍焊接科技专家。因其“在焊接科学与工程计算领域作出了突出及开拓性的贡献”，2019年获国际焊接科学与工程计算先锋奖（Pioneers Award）。应邀在大型国际会议做大会报告（Plenary/Keynote Lecture）7次、特邀报告（Invited Lecture）11次；全国性会议做大会报告8次；应邀为国际重要期刊撰写和发表长篇综述文章6篇、社论3篇。以第一作者或通讯作者发表SCI收录论文200余篇。以第一完成人获得教育部自然科学一等奖1项、二等奖2项，省部级科技进步二等奖2项。
陈姬，山东大学材料科学与工程学院，教授。主要从事高效焊焊接工艺机理与检测控制的研究工作。先后主持国家自然科学面上项目、山东省自然科学基金重大基础研究项目、中国机械工程学会焊接创新平台2017年度创新项目等国际级、省部级课题10余项。研究内容2019年获教育部高等学校科学研究优秀成果奖-自然科学二等奖（2018-097，第二位）。近五年以第一作者或通讯作者发表SCI收录论文18篇，应邀在国际学术会议做邀请报告3次，国内学术会议大会报告和邀请报告各1次。
(1) L.Wang, C.S.Wu, J.Chen*, J.Q.Gao. Experimental measurement of fluid flow in high-speed GMAW assisted by transverse magnetic field. Journal of Manufacturing Processes,2020, 56(A):1193-1200.
(2) B.Zhao, J.Chen*, C.S.Wu, L.Shi. Numerical simulation of bubble and arc dynamics during underwater wet flux-cored arc welding. Journal of Manufacturing Processes, 2020,59(11):167-185.
(3) J.Chen*,Q.Chen, C.S.Wu. Study of high-speed pulsed gas metal arc welding assisted by external magnetic-field. Science and Technology of Welding & Joining, 2020,25(7): 564-570.
(4) L.Wang, J.Chen*, C.L. Jiang, C.S.Wu. Numerical simulations of arc plasma under external magnetic field-assisted gas metal arc welding. AIP Advances, 2020, 10(6):065030.
(5) Z.Rong, J.Chen*, C.S.Wu. A comparison of double shielded GMAW-P with conventional GMAW-P in the arc, droplet and bead formation. Journal of Materials Processing Technology, 2020,285:116781.
(6) L.Wang, J.Chen*, C.S.Wu. Numerical investigation on the effect of process parameters on arc and metal transfer in magnetically controlled gas metal arc welding. Vacuum, 2020, 177:109391.
(7) Q. Chen, J.Chen*, S.F.Lu, Y.T.Zhang, C.S.Wu. Study of high-speed GMAW assisted by compound external magnetic field. Welding in the World, 2020,64(5):885–901.
(8) L.Wang, J.Chen*, C.S.Wu, S.C.Luan. Numerical analysis of arc and droplet behaviors in gas metal arc welding with external compound magnetic field. Journal of Materials Processing Technology, 2020, 282:116638.
(9) L.Wang, J.Chen*, X.H.Fan, C.S.Wu. Influence of Fluid Flow on Humping Bead during High-Speed GMAW. Welding Journal, 2019. 98(11):315s-327s.
(10)J.Chen*, Z.K.Han, L.Wang, C.S.Wu. Influence of arc interactions on heat and mass transfer during a two-arc hybrid welding. International Journal of Heat and Mass Transfer, 2019, 148:119058.
(11) J.Chen*, Y.T. Zhang, C.S.Wu, G.K. Padhy. Suppression of undercut defects in high-speed GMAW through a compound magnetic field. Journal of Materials Processing Technology, 2019 274:116288.
(12) Z.Rang, J.Chen*, C.S.Wu. A comparison of TIG-MIG hybrid welding with conventional MIG welding in the behaviors of arc, droplet and weld pool. Journal of Materials Processing Technology ,2019, 270, 345-355.
更多详细内容请点击文后阅读原文获取。
编辑：金程 校对：张彤
有一种合作叫做真诚，有一种发展可以无限，有一种伙伴可以互利共赢，愿我们合作起来流连忘返，发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等，请与我们联系。
推荐阅读
Normal force and sag resistance of pipe conveyor | CJME论文推荐
仿生抗固体颗粒冲蚀材料研究进展：学习自然，超越自然 | CJME论文推荐
具有高(220)择优取向的纳米颗粒增强型镍基复合镀层的高效制备 | CJME论文推荐
版权声明：
本文为《机械工程学报》编辑部原创内容，欢迎转载，请联系授权！
在公众号后台留言需要转载的文章题目及要转载的公众号ID以获取授权!
联系我们：
联系人：暖暖
电话：010-88379909
E-mail：jme@cmes.org
网 址：http://www.cjmenet.com.cn
官方微信号：jmewechat