张昭教授团队：基于多种深度学习算法的田间玉米籽粒检测与计数（《智慧农业（中英文）》2022年第4期）

引用格式

刘晓航, 张昭, 刘嘉滢, 张漫, 李寒, FLORES Paulo, 韩雄哲. 基于多种深度学习算法的田间玉米籽粒检测与计数[J]. 智慧农业(中英文), 2022, 4(4): 49-60.

LIU Xiaohang, ZHANG Zhao, LIU Jiaying, ZHANG Man, LI Han, FLORES Paulo, HAN Xiongzhe. Infield corn kernel detection and counting based on multiple deep learning networks[J]. Smart Agriculture, 2022, 4(4): 49-60.

知网阅读

……

点击官网阅读

……

基于多种深度学习算法的田间玉米籽粒检测与计数

刘晓航^1，2， 张昭^1，2*， 刘嘉滢^1，2， 张漫^1，2， 李寒^1，2， Paulo FLORES³， 韩雄哲^4，5

（1.中国农业大学智慧农业系统集成研究教育部重点实验室，北京 100083；2.中国农业大学农业农村部农业信息获取技术重点实验室，北京 100083；3.北达科他州州立大学农业与生物工程系，法戈 58102，美国；4.韩国江原大学生物系统工程系，春川 24341，韩国；5.韩国江原大学智慧农业交叉学科，春川 24341，韩国）

摘要： 为快速准确获取玉米收获过程中遗失籽粒数信息，进行收割损失调节等管理，对比评估了单阶段和两阶段主流目标检测网络对田间玉米籽粒计数的性能。首先，利用RGB相机获取包含不同背景和不同光照的图像数据，并进一步生成数据集；其次，构建籽粒识别的不同目标检测网络，包括Mask R-CNN、EfficientDet-D5、YOLOv5-L、YOLOX-L，并利用所采集的420幅有效图像对构建的四种网络进行训练、验证、测试，图像数分别为200、40和180幅；最后，依据测试集图像的识别结果进行籽粒计数性能评价。试验结果表明，YOLOv5-L网络对测试集图像检测的平均精度为78.3%，模型尺寸仅为89.3 MB；籽粒计数的检测正确率、漏检率和F1值分别为90.7%、9.3%和91.1%，处理速度为55.55 f/s，识别与计数性能均优于Mask R-CNN、EfficientDet-D5和YOLOX-L网络，并对具有不同地表遮挡程度和籽粒聚集状态的图像具有较强的鲁棒性。深度学习目标检测网络YOLOv5-L可实现实际作业中玉米收获损失籽粒的实时监测，精度高、适用性强。

关键词： 收获损失；田间玉米籽粒；深度学习；籽粒计数；YOLOv5-L；YOLOX-L；Mask  R-CNN；EfficientDet-D5

文章图片

图1　田间玉米收获场景与地面图像采集示意图

Fig. 1  Infiled corn harvest combine in working mode and schematic for image acquisition

注：SR是指地表像素面积占比

图2　田间玉米籽粒计数的整体技术路线图

Fig. 2  General technical route for corn kernel counting

图3　不同遮挡及玉米籽粒聚集程度的图像示例

Fig.3  Image samples with different occlusion and corn kernel aggregation degree

图 4　Mask R-CNN网络结构图

Fig. 4  Structure of Mask R-CNN network

图5　EfficientDet网络结构

Fig. 5  Structure of EfficientDet network

图6　YOLOv5网络结构

Fig. 6  Structure of YOLOv5 network

图7　YOLOX网络结构图

Fig. 7  Structure of YOLOX network 

图8　四种目标检测网络的训练损失曲线

Fig. 8  Training loss curve of four object detection networks

图9　YOLOv5-L模型的类激活热力图

Fig. 9  Class activation heatmap of YOLOv5-L model

图10　YOLOv5-L模型对不同场景中玉米籽粒的识别结果示例

Fig. 10  Example of the detection results of YOLOv5-L model for corn kernels in different scenes

注：DA、MDR、FDR、PDR、F1分别指计数的检测准确率、漏检率、错检率、查准率以及检测准确率和查准率的调和平均值

图11　不同网络的籽粒计数性能对比

Fig. 11  Comparison of kernel counting performance of different networks

通信作者简介

张昭  教授

张昭，中国农业大学教授，博导，中国农业大学“杰出人才引进”，美国北达科他州州立大学兼职研究员，Springer旗下智慧农业系列丛书总主编，IJABE、ASABE等期刊青年编委，主要研究方向为作物表型智能感知和智慧果园作业装备研发。相关成果发表在Transactions ASABE、Applied Engineering in Agriculture、Computers and Electronics in Agriculture和Postharvest Biology and Technology 等期刊上，以第一或者通讯作者发表SCI/EI学术论文30余篇，授权发明专利1项，出版英文专著3部，近3年主持精准农业课题6项，参与其他课题3项。

来源：《智慧农业（中英文）》2022年第4期

转载请联系编辑部授权

本期支持单位

潍柴雷沃智慧农业科技股份有限公司

推荐阅读

小

店

欢迎光临选购

智慧农业微信交流服务群

为方便农业科学领域读者、作者和审稿专家学术交流，促进智慧农业发展，为更好地服务广大读者、作者和审稿人，编辑部建立了微信交流服务群，有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。入群方法：加小编微信331760296，备注：姓名、单位、研究方向，小编拉您进群，机构营销广告人员勿扰。

发布征集

欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。

求点“在看”每增加1个，小编绩效加5毛钱！