饶元教授团队：基于改进YOLOv5s和多模态图像的树上毛桃检测（《智慧农业（中英文）》2022年第4期）

引用格式

罗庆, 饶元, 金秀, 江朝晖, 王坦, 王丰仪, 张武. 基于改进YOLOv5s和多模态图像的树上毛桃检测[J]. 智慧农业(中英文), 2022, 4(4): 84-104.

LUO Qing, RAO Yuan, JIN Xiu, JIANG Zhaohui, WANG Tan, WANG Fengyi, ZHANG Wu. Multi-class on-tree peach detection using improved YOLOv5s and multi-modal images[J]. Smart Agriculture, 2022, 4(4): 84-104. 

知网阅读

官网阅读（全文，免费）

基于改进YOLOv5s和多模态图像的树上毛桃检测

罗庆^1，2，3， 饶元^1，2，3*， 金秀^1，2，3， 江朝晖^1，2，3， 王坦^1，2，3， 王丰仪^1，2，3， 张武^1，2，3

（1.安徽农业大学 信息与计算机学院，安徽合肥 230036；2.农业农村部农业传感器重点实验室，安徽合肥 230036；3.智慧农业技术与装备安徽省重点实验室，安徽合肥 230036）

摘要： 毛桃等果实的准确检测是实现机械化、智能化农艺管理的必要前提。然而，由于光照不均和严重遮挡，在果园中实现毛桃，尤其是套袋毛桃的检测一直面临着挑战。本研究基于改进YOLOv5s和多模态视觉数据提出了面向机械化采摘的毛桃多分类准确检测。具体地，构建了一个多类标签的裸桃和套袋毛桃的RGB-D数据集，包括4127组由消费级RGB-D相机获取的像素对齐的彩色、深度和红外图像。随后，通过引入方向感知和位置敏感的注意力机制，提出了改进的轻量级YOLOv5s（小深度）模型，该模型可以沿一个空间方向捕捉长距离依赖，并沿另一个空间方向保留准确的位置信息，提高毛桃检测精度。同时，通过将卷积操作分解为深度方向的卷积与宽度、高度方向的卷积，使用深度可分离卷积在保持模型检测准确性的同时减少模型的计算量、训练和推理时间。实验结果表明，使用多模态视觉数据的改进YOLOv5s模型在复杂光照和严重遮挡环境下，对裸桃和套袋毛桃的平均精度（Mean Average Precision，mAP）分别为98.6%和88.9%，比仅使用RGB图像提高了5.3%和16.5%，比YOLOv5s提高了2.8%和6.2%。在套袋毛桃检测方面，改进YOLOv5s的mAP比YOLOX-Nano、PP-YOLO-Tiny和EfficientDet-D0分别提升了16.3%、8.1%和4.5%。此外，多模态图像、改进YOLOv5s对提升自然果园中的裸桃和套袋毛桃的准确检测均有贡献，所提出的改进YOLOv5s模型在检测公开数据集中的富士苹果和猕猴桃时，也获得了优于传统方法的结果，验证了所提出的模型具有良好的泛化能力。最后，在主流移动式硬件平台上，改进后的YOLOv5s模型使用五通道多模态图像时检测速度可达每秒19幅，能够实现毛桃的实时检测。上述结果证明了改进的YOLOv5s网络和含多类标签的多模态视觉数据在实现果实自动采摘系统视觉智能方面的应用潜力。

关键词： 多类检测；YOLOv5s；多模态视觉数据；机械化采摘；深度学习

文章图文

Fig. 1  View of the naked and bagging peach visual data acquisition illustration

Fig. 2  Examples of multi-modal images of naked and bagging peach captured by RGB-D camera

Fig. 3  Peaches were annotated into four classes， where fruits inside white， green， cyan， and brown boxes were referred to the NO， OL， OF， and OB， respectively

Note：CSP denotes cross stage partial layer；CA denotes coordinate attention；DSC denotes depthwise separable convolution；SPP denotes spatial pyramid pooling

Fig. 4  Overall structure of the improved YOLOv5s model

Fig. 5  Structure diagram of coordinate attention mechanism （corresponding to CA in Fig. 4）

Fig. 6  Depthwise separable convolution structure （corresponding to DSC in Fig. 4）

Fig. 7  The loss curves under different combinations of imaging modalities for naked and bagging peaches detection

Fig. 8  The mAP curves under different combinations of imaging modalities for naked and bagging peaches detection

Note：Missing peaches were marked in red and false detections were in blue；fruits inside white， green， cyan， and brown boxes referred to the NO， OL， OF， and OB， respectively

Fig. 9  Examples of multi-class naked and bagging peach detection results in the test set when using different modality combinations under three typical illumination conditions of Normal illumination， Strong illumination and Artificial illumination

Note：Missing bagging peaches were marked in red and false detections were in blue， fruits inside white， green， cyan， and brown boxes referred to the NO， OL， OF， and OB， respectively

Fig. 10  Examples of multi-class naked and bagging peach detection results in the test set when using different modality combinations in different occlusion scenes

Note：Missing bagging peaches were marked in red and false detections were in blue， fruits inside white， green， cyan， and brown boxes referred to the NO， OL， OF， and OB， respectively

Fig. 11  Examples of multi-class naked and bagging peach detection results in the test set when using different modality combinations in different camera distances

通信作者简介

饶元  教授

饶元，安徽农业大学信息与计算机学院教授，副院长，博士生导师，以色列本古里安大学博士后。农业农村部农业传感器重点实验室主任，中国计算机学会数字农业分会执行委员、中国计算机学会合肥分部执行委员、安徽省现代农业产业技术体系岗位专家、安徽省农业信息化常务理事、安徽省人工智能学会理事。长期从事农业信息智能获取与处理方向研究，研发了植物光合生理等生命生境信息检测装备、农机作业信息感知与智能分析软硬件系统、设施蔬菜等作物精准生产智能化管控系统。承担国家自然科学基金、农业部948项目、安徽省重点研发计划等科研项目10多项。在国内外重要学术期刊发表论文40多篇，获得授权发明专利10多项，登记软件著作权40余项。获全国农牧渔业丰收奖、安徽省科技进步奖、神农中华农业科技奖等多项科技奖励。

来源：《智慧农业（中英文）》2022年第4期

转载请联系编辑部授权

本期支持单位

潍柴雷沃智慧农业科技股份有限公司

推荐阅读

小

店

欢迎光临选购

智慧农业微信交流服务群

为方便农业科学领域读者、作者和审稿专家学术交流，促进智慧农业发展，为更好地服务广大读者、作者和审稿人，编辑部建立了微信交流服务群，有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。入群方法：加小编微信331760296，备注：姓名、单位、研究方向，小编拉您进群，机构营销广告人员勿扰。

发布征集

欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。

求点“在看”每增加1个，小编绩效加5毛钱！