2024年3月13日发(作者:秘安春)
—158—
杜鹏程,蒋笃忠,向 阳,等.基于YOLOv5s目标检测算法的烤烟鲜叶成熟度识别方法[J].江苏农业科学,2023,51(19):158-165.
doi:10.15889/j.issn.1002-1302.2023.19.024
基于YOLOv5s目标检测算法的烤烟
鲜叶成熟度识别方法
杜鹏程
1
,蒋笃忠
2
,向 阳
1
,敬礼恒
2
,伍守贵
2
,骆君华
2
(1.湖南农业大学机电工程学院,湖南长沙410128;2.湖南省烟草公司永州市公司,湖南永州425099)
摘要:新鲜烟叶的成熟度对烤后烟叶的质量有显著影响,可于烘烤前完成不同成熟度的新鲜烟叶分选,并对各成
熟度采用特定烘烤工艺,以提高烘烤后的烟叶质量。以云烟87的新鲜烟叶为试验样本,将采集的新鲜烟叶分为上部
OLOv5s目标检测算法,利用卷积神经网叶、中部叶、下部叶,并依据不同部位成熟度划分为欠熟、成熟、过熟。采用Y
络提取新鲜烟叶的不同成熟度特征,完成不同部位新鲜烟叶的成熟度识别试验,并与Faster-RCNN、Mask-RCNN检
测模型的测试结果进行对比。结果表明,YOLOv5s对云烟87不同部位新鲜烟叶成熟度检测的总体mAP值分别为
991%、97.5%、98.5%,单幅图像检测平均时间为29~30ms。3种模型的对比试验中,Mask-RCNN、Faster-RCNN
测试的mAP值均低于YOLOv5s,单幅图像检测平均时间均远高于YOLOv5s。采用YOLOv5s训练的不同部位新鲜烟
叶的检测模型,在检测速度与精准度方面基本满足对新鲜烟叶成熟度识别的生产要求。
关键词:新鲜烟叶;深度学习;YOLOv5;成熟度
中图分类号:TP391.41 文献标志码:A 文章编号:1002-1302(2023)19-0158-07
不同成熟度的新鲜烟叶中,色素含量、组织结
1]
构与生化成分等都有显著差异
[
。针对不同成熟
4]
。李佛琳等利类模型,实现对烟叶成熟度的分选
[
用ASDFieldspecFR2500光谱仪,收集5种新鲜烟
叶的不同反射特征光谱,实现对不同烟叶成熟度的
5]
量化判断
[
。韩龙洋等对4种不同成熟度烟叶进
度的新鲜烟叶,采用不同烘烤工艺等手段,可以显
著提升烟叶的总含糖量、外观质量、中性致香物质
2]
含量
[
,从而提高烟叶的经济效益。因此,对新鲜
行高光谱分析,利用最小二乘法(PLS)建立烟叶成
6]
。熟度判别模型,实现对烟叶成熟度的定性鉴别
[
烟叶进行成熟度分选,可有效提高烟叶利用率与价
值。目前,我国对烟叶成熟度的鉴别主要依靠烟农
与技术人员的经验,通过辨别烟叶的叶面颜色、茸
毛脱落状态以及采摘断面情况等来分选烟叶的成
3]
熟度
[
。对个人经验的依赖,使得对烟叶成熟度的
刁航等分析5种成熟度烟叶的可见光反射光谱,采
用支持向量机的方法,建立烟叶成熟度田间原地分
7]
析模型
[
。王承伟等利用近红外光谱结合随机森
RF)建立新鲜烟叶成熟度判别模型,对上、林算法(
中、下部成熟度烟叶的预测准确率均在90%以
8]
上
[
。杨睿等提出近红外光谱与图像识别相结合
鉴别结果存在不稳定性与差异性,不同的人甚至同
一人的不同次鉴别,结果均可能存在差异。
为了保证烟叶成熟度分选的准确性与稳定性,
已有学者做了大量相关研究。李佛琳等通过计量
不同成熟度烟叶的叶绿素含量,构建TMDSPADV分
收稿日期:2023-02-12
基金项目:湖南省自然科学基金(编号:2021JJ30363);湖南省烟草公
司永州市公司科技计划项目。
1999—),男,湖南常德人,硕士研究生,主要从事作者简介:杜鹏程(
农业电气化与自动化、机器视觉、深度学习、近红外检测、图像识别
等研究。E-mail:2656387110@qq.com。
通信作者:向 阳,博士,副教授,研究方向为农业自动化技术及智能
mail:xy@hunau.edu.cn。农业装备。E-
方式,建立新鲜烟叶成熟度识别模型,针对3种烤烟
品种烟叶成熟度的识别准确率分别为94.08%、
9]
9478%、92.96%
[
。Chen等利用近红外(NIR)光
谱与卷积神经网络(CNN)相结合,构建不同成熟度
的新鲜烟叶识别模型,针对上、中、下部烟叶进行成
熟度识别,准确率分别为9618%、95.20%、
10]
9731%
[
。Li等基于MobileNetV2建立轻量级神
经网络模型,对新鲜烟叶的3种不同部位、不同成熟
11]
5%
[
。现有烟叶成度进行识别训练,准确率为9
熟度鉴别技术中,基于近红外光谱的检测方式均取
得较好的效果,可实现对烟叶成熟度的智能分选。
—159—
但近红外光谱仪造价昂贵,操作复杂,对于普通烟
农或者中小企业而言,接受程度不高,实用性不强,
难以运用到日常生产过程中。
近年来,基于深度学习的目标检测算法在农产
品图像识别与分析领域显现出巨大的优越性,已在
烤烟分级中得到应用。曾祥云将深度学习应用于
烤烟分级中,运用软件工程方法设计试验系统并通
过功能测试与集成测试,验证该系统满足烤烟日常
12]
生产需求
[
。王士鑫基于卷积神经网络,实现对烤
江华县白芒营镇上岗村、永州市蓝山县土市镇三广
村。在烟叶种植田块中,随机选取长势一致的植
株,分别采集上、中、下部烟叶。将采集得到的烟叶
PPOR15手机对样本样本平展于白色幕布上,用O
进行拍照,照片图像尺寸为1080像素×1440像
素,保存格式为JPG。依据烟叶成熟度分级标准和
专家意见,将不同部位的烟叶图像划分成欠成熟、
成熟、过成熟。数据集部分样本图像如图1所示。
共采集1500份新鲜烟叶样本,并通过左右翻转、上
下翻转、增加图像对比度等方式对数据集进行扩
充,以提升检测模型的泛化能力和鲁棒性,最终获
60份训练样本,不同部位各成熟度样本种类得24
与数量详见表1。
将数据样本按照上部叶、中部叶、下部叶划分
为3类数据集,采用LabelImg标注工具对训练集、
验证集照片进行标注,标注界面如图2所示。训练
集、验证集、测试集的数量比为7∶2∶1。因原始图
像尺寸太大,为提高YOLOv5s目标检测算法的训
40像练速度,将标注好的图像尺寸重新设置为6
素×640像素大小。
烟质量的分级,对烤烟烟叶分级的识别准确率高达
13]
9721%
[
。谢滨瑶等采用机器学习方法,利用BP
神经网络、支持向量机对新鲜烟叶的下部叶成熟度
14]
进行鉴别,其准确率分别为93.83%、97.53%
[
。
本研究将YOLOv5s目标检测算法应用于新鲜
烟叶的成熟度识别,进一步探究深度学习在烟叶成
熟度识别领域中的可行性。
1 材料与方法
1.1 图像采集与烟叶数据集构建
试验烟叶品种为云烟87,采集于湖南省永州市
—160—
表1 烟叶样本种类及其数量
[15]
用。常见的目标检测算法有R-CNN、FastR-
部位
上部叶
成熟度
成熟
欠成熟
过成熟
数量
(份)
383
294
102
340
359
235
357
230
160
[16][17][18]
CNN、YOLO、SSD等,其中YOLO目标检测
算法具有极快的检测速度与较高的精准度。本研
020年6月推出的YOLOv5目标检测算究使用于2
法,对新鲜烟叶成熟度进行识别。该算法依据特征
提取模块与卷积核数量的不同,网络结构从简单到
复杂可以分为YOLOv5s、YOLOv5m、YOLOv5l、
YOLOv5x,且基本框架大致相同。网络结构越复
杂,模型检测精度越高,速度越慢。从实际生产出
发,综合考虑模型检测精度与速度的关系,本研究
采用YOLOv5s目标检测算法进行试验。YOLOv5s
目标检测算法的网络结构分为输入层(Input)、骨干
网(Backbone)、颈部(Neck)、输出层(Output)4个部
19]
分
[
,其网络结构如图3所示。
中部叶成熟
欠成熟
过成熟
下部叶成熟
欠成熟
过成熟
1.2 YOLOv5s模型建立
深度学习在目标检测领域中得到了广泛的应
输入层上采用Mosaic增强方法,在原有数据集
的基础上,随机选取4幅图像,进行随机裁剪、缩放、
分布,使得原有数据集更加丰富,减少模型过拟合
的风险。
骨干网主要包括了Focus、BottleneckCSP与
SPP,作用为对输入层处理后的数据集进行特征提
取。Focus模块如图4所示,将1幅640×640×3的
图像经过4次切片与32次卷积操作,最终会得到
320×320×12的特征图,提高了模型的运算速度。
BottleneckCSP模块由Conv与X个Resnet模块组
成,能在降低模型参数与内存成本的同时,保证准
确率。SPP模块将提取出的特征进行融合,通过3
种尺度的池化,解决输入图像大小固定化的问题。
为加强骨干网提取特征的聚合能力,颈部通过
多个CBL与CSP2_1构成FPN与PAN结构,如图5
所示。FPN结构采取自上而下的方式,将高层特征
与Backbone中对应层CSP模块输出特征进行聚合,
再由PAN结构自下而上与FPN对应层聚合浅层特
征,使高层特征与浅层特征完成聚合,减少特征丢
失,提高检测准确度。
输出层采用GIOU_LOSS(广义交叉联合)作为
Boundingbox(边框回归)的损失函数,确定最佳边界
对应3种图像区框,并输出3种大小不同的特征图,
域。针对目标框的筛选,采用NMS非极大值抑制
操作。
—161—
1.3 模型评价
为保证本试验提出模型的有效性与可用性,采
用召回率(R)、精准度(P)、平均精准度(mAP)、单
幅图像检测耗时这4个指标来评价YOLOv5s目标
检测算法训练出的模型,相关指标的计算公式如下
所示。
TP
P=;
TP+FP
(1)
TP
R=;
TP+FN
P
∑
A
mAP=。
n
=1k
n
(2)
(3)
—162—
式中:TP表示真正样本数量;FP表示假正样本数
量;FN表示假负样本数量;N表示样本中种类数量;
AP表示单个样本的平均精准度,n为样本总数。
1.4 模型训练试验平台
2022年9月,在湖南农业大学蚁工团队实验室
服务器上完成试验。试验采用的计算机型号为
DELLT5820,搭载CPU为XEONW2155,内存32G,
显卡为NVIDIARTX30808G。软件操作系统为
Windows10,使用的编程语言为Python3.9,深度学
习的框架为Pytorch1.8。
针对不同部位新鲜烟叶的训练参数具体如下:
00,权重衰减系数设为0.0005,总迭代周期设为3
迭代批次大小设为8,初始化学习效率设为0.01,采
用余弦退火的衰减方式,其衰退率为0.01,置信度
.5。阈值设为0
2 结果与分析
2.1 模型训练结果
采用YOLOv5s目标检测算法,分别对新鲜烟
叶的上、中、下部叶数据集进行训练,不同部位新鲜
烟叶的成熟度模型训练过程的mAP值与损失函数
值随迭代周期变化的结果如图6至图8所示。mAP
值与损失函数值均在前50次迭代周期内迅速变化,
80次迭代周期后模型逐渐稳定。训练在1
—163—
表2 各模型测试效果
2.2 模型效果评估
各模型精确度(P)、召回率(R)、平均精准度
mAP)、单幅图检测耗时如表2所示。不同部位新(
鲜烟叶测试集的检测效果如图9至图11所示。
由测试结果可知,中部叶模型对欠熟、成熟的
检测精准度分别只有91.8%、93.8%,这是因为新
鲜中部烟叶欠熟与成熟烟叶的表面颜色特征比较
接近,对识别造成干扰,使得检测结果偏低。但不
同部位新鲜烟叶的成熟度模型在各自测试集上的
总体mAP值均在97%及以上,且单幅图的测量时间
为29~30ms,满足在高精准度水平的条件下稳定
检测图片的高速度。
2.3 与常见检测模型的对比
本试验在相同的训练环境与训练参数下,利用
目前常见的目标检测模型,对新鲜烟叶各部分数据
集分别进行训练。各模型测试结果如表3所示。
下部叶模型
中部叶模型
模型名称
上部叶模型
类别
欠熟
成熟
过熟
总体
欠熟
成熟
过熟
总体
欠熟
成熟
过熟
总体
P
(%)
98.5
94.3
94.9
95.9
91.8
93.8
99.5
95.0
99.8
98.6
93.4
97.3
R
(%)
100.0
100.0
97.7
99.2
97.3
92.1
92.9
94.1
97.9
96.4
100.0
98.1
mAP单幅平均图像
(%)检测时间(ms)
99.5
99.3
98.5
99.1
97.0
96.2
99.3
97.5
98.8
99.0
97.9
98.5
30.0
29.4
29.7
—164—
从YOLOv5s、Mask-RCNN、Faster-RCNN这3
种模型的对比试验中可以看出,Mask-RCNN、
Faster-RCNN模型的mAP值均低于YOLOv5s模
OLOv5s模型,单幅图像检测平均时间均远高于Y
型,说明通过YOLOv5s训练的不同部位新鲜烟叶
的检测模型,在mAP值、单幅图像平均检测时间方
表面,均明显优于另外2种常见的目标检测模型(
3)。图像的标注方式影响模型的训练结果,Faster-
、YOLOv5s的图像标注方式一致,两者的测试RCNN
结果基本一致,均是以上部叶测试结果为最佳。
表3 各检测模型测试效果
模型名称
YOLOv5s
检测部位
上部叶
中部叶
下部叶
Mask-RCNN上部叶
中部叶
下部叶
Faster-RCNN上部叶
中部叶
下部叶
mAP
(%)
97.9
95.5
95.6
87.9
88.7
92.0
83.4
66.5
66.3
单幅图像检测
ms)平均时间(
29.7
29.4
30.0
43.0
42.0
45.0
44.0
37.0
33.0
OLOv5s、Mask-RCNN、的目标检测模型———Y
Faster-RCNN,其中通过YOLOv5s训练的不同部
位的新鲜烟叶的检测模型均优于其余2种。
参考文献:
[1]胡永涛,汪代斌,陈益银,等.不同成熟度鲜烟素质对烤后烟叶品
质贡献度的研究[J].中国农业科技导报,2023,25(8):157-164.
[2]陆 超.基于中温中湿烘烤工艺的采收方式对上部烟叶质量影
D].长沙:湖南农业大学,2020.响[
[3]许自成,赵瑞蕊,王龙宪,等.烟叶成熟度的研究进展[J].东北
2014,45(1):123-128.农业大学学报,
[4]李佛琳,赵春江,刘良云,等.烤烟鲜烟叶成熟度的量化[J].烟
草科技,2007,40(1):54-58.
[5]李佛琳,赵春江,王纪华,等.一种基于反射光谱的烤烟鲜烟叶成
J].西南大学学报(自然科学版),2008,30(10):熟度测定方法[
51-55.
[6]韩龙洋,王一丁,张文龙,等.基于高光谱技术的烤烟成熟度判别
研究[J].延边大学农学学报,2015,37(4):286-291,301.
[7]刁 航,吴永明,杨宇虹,等.田间原位光谱的鲜烟叶成熟度判别
模型的研究[J].光谱学与光谱分析,2016,36(6):1826-1830.
[8]王承伟,宾 俊,范 伟,等.基于近红外光谱技术结合随机森林的
烟叶成熟度快速判别[J].西南农业学报,2017,30(4):931-936.
[9]杨 睿,宾 俊,苏家恩,等.基于近红外光谱与图像识别技术融
合的烟叶成熟度的判别[J].湖南农业大学学报(自然科学版),
2021,47(4):406-411,418.
[10]ChenY,BinJ,ZouCM,etal.Discriminationoffreshtobacco
leaveswithdifferentmaturitylevelsbynear-infrared(NIR)
spectroscopyanddeeplearning[J].JournalofAnalyticalMethods
inChemistry,2021,2021:1-11.
[11]LiJX,ZhaoH,ZhuSP,etal.Animprovedlightweightnetwork
architectureforidentifyingtobaccoleafmaturitybasedondeep
learning[J].JournalofIntelligent&FuzzySystems,2021,41(2):
4149-4158.
[12]曾祥云.一个基于深度学习的烤烟分级系统的设计与实现
[D].南京:东南大学,2017.
3 结论
本试验针对新鲜烟叶成熟度实时检测要求,研
究基于YOLOv5s目标检测算法对不同部位新鲜烟
叶成熟度的检测方法。依据烟叶所在位置将新鲜
烟叶分为上、中、下部叶,经过训练得到3种测试集,
且在3种测试集上的总体mAP值均在97%及以上,
单幅图的测量时间在29~30ms之间,满足对不同
部位新鲜烟叶检测实际要求。试验对比了3种常见
杨琳琳,别书凡,王建坤,等.基于深度学习的玉米植株表型检测方法研究[J].江苏农业科学,2023,51(19):165-172.
doi:10.15889/j.issn.1002-1302.2023.19.025
—165—
基于深度学习的玉米植株表型检测方法研究
,2,2
杨琳琳
1
,别书凡
1
,王建坤
1
,皇甫懿
1
,刘 焱
1
,李文峰
1
,施 杰
1
(1.云南农业大学机电工程学院,云南昆明650201;2.云南省作物模拟与智能调控重点实验室,云南昆明650201)
摘要:为了实现单株玉米植株表型的快速无损检测,提出了一种基于深度学习的玉米植株表型检测方法。采集玉
米植株表型数据集(包含多视角玉米植株图像和人工测量的鲜质量、干质量、叶面积表型数据),采用大步距卷积、
resize降尺寸和大步距池化层降采样3种方法进行图像降采样,减少了模型计算消耗的资源,降低了图像的尺寸,并对
比普通卷积、深度卷积、深度可分离卷积3种卷积的效果。改进了均方误差(MSE)和平均绝对误差(MAE),对不同数
据量的样本区间给予不同的权重,解决了小型数据集存在的数据不均衡问题。在对比试验中,首先构建鲜质量表型检
测模型,然后将表现较好的模型在干质量与叶面积模型中试验,筛选出对应的最优模型。结果显示,基于深度卷积和
B-MSE损失函数的模型在玉米植株鲜质量、干质量、叶面积上的效果都最优。其中,深度卷积的效果最好。改进后
2
MSE和B-MAE在玉米鲜质量3个模型测试集上的相关系数r均达到了0.98以上,确定系数R均达到了的B-
097以上,平均绝对百分比误差MAPE均在3.2%以内,在干质量与叶面积模型上也提高了测试集上的相关系数r和
2
确定系数R,并且降低了MAPE。
关键词:玉米;植株表型;深度学习;数据不均衡;无损检测
中图分类号:S126;TP391.41 文献标志码:A 文章编号:1002-1302(2023)19-0165-08
玉米是世界上重要的粮食作物,其营养价值较
高,同时,玉米也是食品、轻工业、化工业等产业不
可或缺的原料之一。玉米长势会直接影响到其产
量和品质,有效地监测玉米长势可以为田间管理、
早期产量估算提供宏观的信息,为国家和相关部门
决策提供重要的参考依据,因此玉米长势监测研究
1-2]
具有重要的现实意义
[
。
近年来,植物表型组学逐渐兴起并成为一门快
3-4]
。借助机器视觉技速发展的数据密集型学科
[
术、图像分割和深度学习等技术来准确地对植物的
重要特征进行采集和分析,是育种和生产过程管理
5]
的重要技术手段
[
。玉米的表型信息能直观地描
述玉米长势,传统的植物表型研究主要依靠人工观
察和测量得到,这种方法往往依赖于手动检测小样
本的个别性状,能够得到的数据量非常有限,并且
难以对植物的多种性状进行综合分析,也容易引入
6-7]
人为因素导致的测量数据误差
[
。因此,需要一
收稿日期:2023-04-27
基金项目:国家自然科学基金(编号:31860331、32160420);云南省重
202202AE090021)。大科技专项(编号:
作者简介:杨琳琳(1979—),女,山东寿光人,博士,副教授,研究方向
为智能检测及自动控制。E-mail:29545343@qq.com。
通信作者:施 杰,博士,副教授,研究方向为深度学习。E-mail:
km_shijie@126.com。
种新型玉米表型检测方法,能快速、无损、准确地获
取表型。基于无人机的玉米植株表型检测方法在
8]
大田中已有应用
[
,但无人机仅能检测大田作物的
整体生长状况,缺乏对单株植物的表型监测。基于
櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄
[13]王士鑫.基于卷积神经网络(CNN)的烤烟烟叶质量分级研究
[D].昆明:云南师范大学,2020.
[14]谢滨瑶,祝诗平,黄 华.基于BPNN和SVM的烟叶成熟度鉴
别模型[J].中国烟草学报,2019,25(1):45-50.
[15]GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesfor
accurateobjectdetectionandsemanticsegmentation[C]//2014
IEEEConferenceonComputerVisionandPatternRecognition.
,OH,USA:IEEE,2014:580-587.Columbus
[16]GirshickR.FastR-CNN[C]//ProceedingsoftheIEEE
internationalcoferenceoncomputervision.2015:1440-1448.
[17]RedmonJ,DivvalaS,GirshickR,etal.Youonlylookonce:
unified,real-timeobjectdetection[EB/OL].(2016-05-09)
[2023-02-12].https://arxiv.org/abs/1506.02640.
[18]LiuW,AnguelovD,ErhanD,etal.SSD:SingleShotMultiBox
Detector[EB/OL].(2016-12-29)[2023-02-12].https://
doi.org/10.48550/arXiv.1512.02325
[19]高梦婷,孙 晗,唐云祁,等.基于改进YOLOv5的指纹二级特
征检测方法[J].激光与光电子学进展,2023,60(10):89-99.
2024年3月13日发(作者:秘安春)
—158—
杜鹏程,蒋笃忠,向 阳,等.基于YOLOv5s目标检测算法的烤烟鲜叶成熟度识别方法[J].江苏农业科学,2023,51(19):158-165.
doi:10.15889/j.issn.1002-1302.2023.19.024
基于YOLOv5s目标检测算法的烤烟
鲜叶成熟度识别方法
杜鹏程
1
,蒋笃忠
2
,向 阳
1
,敬礼恒
2
,伍守贵
2
,骆君华
2
(1.湖南农业大学机电工程学院,湖南长沙410128;2.湖南省烟草公司永州市公司,湖南永州425099)
摘要:新鲜烟叶的成熟度对烤后烟叶的质量有显著影响,可于烘烤前完成不同成熟度的新鲜烟叶分选,并对各成
熟度采用特定烘烤工艺,以提高烘烤后的烟叶质量。以云烟87的新鲜烟叶为试验样本,将采集的新鲜烟叶分为上部
OLOv5s目标检测算法,利用卷积神经网叶、中部叶、下部叶,并依据不同部位成熟度划分为欠熟、成熟、过熟。采用Y
络提取新鲜烟叶的不同成熟度特征,完成不同部位新鲜烟叶的成熟度识别试验,并与Faster-RCNN、Mask-RCNN检
测模型的测试结果进行对比。结果表明,YOLOv5s对云烟87不同部位新鲜烟叶成熟度检测的总体mAP值分别为
991%、97.5%、98.5%,单幅图像检测平均时间为29~30ms。3种模型的对比试验中,Mask-RCNN、Faster-RCNN
测试的mAP值均低于YOLOv5s,单幅图像检测平均时间均远高于YOLOv5s。采用YOLOv5s训练的不同部位新鲜烟
叶的检测模型,在检测速度与精准度方面基本满足对新鲜烟叶成熟度识别的生产要求。
关键词:新鲜烟叶;深度学习;YOLOv5;成熟度
中图分类号:TP391.41 文献标志码:A 文章编号:1002-1302(2023)19-0158-07
不同成熟度的新鲜烟叶中,色素含量、组织结
1]
构与生化成分等都有显著差异
[
。针对不同成熟
4]
。李佛琳等利类模型,实现对烟叶成熟度的分选
[
用ASDFieldspecFR2500光谱仪,收集5种新鲜烟
叶的不同反射特征光谱,实现对不同烟叶成熟度的
5]
量化判断
[
。韩龙洋等对4种不同成熟度烟叶进
度的新鲜烟叶,采用不同烘烤工艺等手段,可以显
著提升烟叶的总含糖量、外观质量、中性致香物质
2]
含量
[
,从而提高烟叶的经济效益。因此,对新鲜
行高光谱分析,利用最小二乘法(PLS)建立烟叶成
6]
。熟度判别模型,实现对烟叶成熟度的定性鉴别
[
烟叶进行成熟度分选,可有效提高烟叶利用率与价
值。目前,我国对烟叶成熟度的鉴别主要依靠烟农
与技术人员的经验,通过辨别烟叶的叶面颜色、茸
毛脱落状态以及采摘断面情况等来分选烟叶的成
3]
熟度
[
。对个人经验的依赖,使得对烟叶成熟度的
刁航等分析5种成熟度烟叶的可见光反射光谱,采
用支持向量机的方法,建立烟叶成熟度田间原地分
7]
析模型
[
。王承伟等利用近红外光谱结合随机森
RF)建立新鲜烟叶成熟度判别模型,对上、林算法(
中、下部成熟度烟叶的预测准确率均在90%以
8]
上
[
。杨睿等提出近红外光谱与图像识别相结合
鉴别结果存在不稳定性与差异性,不同的人甚至同
一人的不同次鉴别,结果均可能存在差异。
为了保证烟叶成熟度分选的准确性与稳定性,
已有学者做了大量相关研究。李佛琳等通过计量
不同成熟度烟叶的叶绿素含量,构建TMDSPADV分
收稿日期:2023-02-12
基金项目:湖南省自然科学基金(编号:2021JJ30363);湖南省烟草公
司永州市公司科技计划项目。
1999—),男,湖南常德人,硕士研究生,主要从事作者简介:杜鹏程(
农业电气化与自动化、机器视觉、深度学习、近红外检测、图像识别
等研究。E-mail:2656387110@qq.com。
通信作者:向 阳,博士,副教授,研究方向为农业自动化技术及智能
mail:xy@hunau.edu.cn。农业装备。E-
方式,建立新鲜烟叶成熟度识别模型,针对3种烤烟
品种烟叶成熟度的识别准确率分别为94.08%、
9]
9478%、92.96%
[
。Chen等利用近红外(NIR)光
谱与卷积神经网络(CNN)相结合,构建不同成熟度
的新鲜烟叶识别模型,针对上、中、下部烟叶进行成
熟度识别,准确率分别为9618%、95.20%、
10]
9731%
[
。Li等基于MobileNetV2建立轻量级神
经网络模型,对新鲜烟叶的3种不同部位、不同成熟
11]
5%
[
。现有烟叶成度进行识别训练,准确率为9
熟度鉴别技术中,基于近红外光谱的检测方式均取
得较好的效果,可实现对烟叶成熟度的智能分选。
—159—
但近红外光谱仪造价昂贵,操作复杂,对于普通烟
农或者中小企业而言,接受程度不高,实用性不强,
难以运用到日常生产过程中。
近年来,基于深度学习的目标检测算法在农产
品图像识别与分析领域显现出巨大的优越性,已在
烤烟分级中得到应用。曾祥云将深度学习应用于
烤烟分级中,运用软件工程方法设计试验系统并通
过功能测试与集成测试,验证该系统满足烤烟日常
12]
生产需求
[
。王士鑫基于卷积神经网络,实现对烤
江华县白芒营镇上岗村、永州市蓝山县土市镇三广
村。在烟叶种植田块中,随机选取长势一致的植
株,分别采集上、中、下部烟叶。将采集得到的烟叶
PPOR15手机对样本样本平展于白色幕布上,用O
进行拍照,照片图像尺寸为1080像素×1440像
素,保存格式为JPG。依据烟叶成熟度分级标准和
专家意见,将不同部位的烟叶图像划分成欠成熟、
成熟、过成熟。数据集部分样本图像如图1所示。
共采集1500份新鲜烟叶样本,并通过左右翻转、上
下翻转、增加图像对比度等方式对数据集进行扩
充,以提升检测模型的泛化能力和鲁棒性,最终获
60份训练样本,不同部位各成熟度样本种类得24
与数量详见表1。
将数据样本按照上部叶、中部叶、下部叶划分
为3类数据集,采用LabelImg标注工具对训练集、
验证集照片进行标注,标注界面如图2所示。训练
集、验证集、测试集的数量比为7∶2∶1。因原始图
像尺寸太大,为提高YOLOv5s目标检测算法的训
40像练速度,将标注好的图像尺寸重新设置为6
素×640像素大小。
烟质量的分级,对烤烟烟叶分级的识别准确率高达
13]
9721%
[
。谢滨瑶等采用机器学习方法,利用BP
神经网络、支持向量机对新鲜烟叶的下部叶成熟度
14]
进行鉴别,其准确率分别为93.83%、97.53%
[
。
本研究将YOLOv5s目标检测算法应用于新鲜
烟叶的成熟度识别,进一步探究深度学习在烟叶成
熟度识别领域中的可行性。
1 材料与方法
1.1 图像采集与烟叶数据集构建
试验烟叶品种为云烟87,采集于湖南省永州市
—160—
表1 烟叶样本种类及其数量
[15]
用。常见的目标检测算法有R-CNN、FastR-
部位
上部叶
成熟度
成熟
欠成熟
过成熟
数量
(份)
383
294
102
340
359
235
357
230
160
[16][17][18]
CNN、YOLO、SSD等,其中YOLO目标检测
算法具有极快的检测速度与较高的精准度。本研
020年6月推出的YOLOv5目标检测算究使用于2
法,对新鲜烟叶成熟度进行识别。该算法依据特征
提取模块与卷积核数量的不同,网络结构从简单到
复杂可以分为YOLOv5s、YOLOv5m、YOLOv5l、
YOLOv5x,且基本框架大致相同。网络结构越复
杂,模型检测精度越高,速度越慢。从实际生产出
发,综合考虑模型检测精度与速度的关系,本研究
采用YOLOv5s目标检测算法进行试验。YOLOv5s
目标检测算法的网络结构分为输入层(Input)、骨干
网(Backbone)、颈部(Neck)、输出层(Output)4个部
19]
分
[
,其网络结构如图3所示。
中部叶成熟
欠成熟
过成熟
下部叶成熟
欠成熟
过成熟
1.2 YOLOv5s模型建立
深度学习在目标检测领域中得到了广泛的应
输入层上采用Mosaic增强方法,在原有数据集
的基础上,随机选取4幅图像,进行随机裁剪、缩放、
分布,使得原有数据集更加丰富,减少模型过拟合
的风险。
骨干网主要包括了Focus、BottleneckCSP与
SPP,作用为对输入层处理后的数据集进行特征提
取。Focus模块如图4所示,将1幅640×640×3的
图像经过4次切片与32次卷积操作,最终会得到
320×320×12的特征图,提高了模型的运算速度。
BottleneckCSP模块由Conv与X个Resnet模块组
成,能在降低模型参数与内存成本的同时,保证准
确率。SPP模块将提取出的特征进行融合,通过3
种尺度的池化,解决输入图像大小固定化的问题。
为加强骨干网提取特征的聚合能力,颈部通过
多个CBL与CSP2_1构成FPN与PAN结构,如图5
所示。FPN结构采取自上而下的方式,将高层特征
与Backbone中对应层CSP模块输出特征进行聚合,
再由PAN结构自下而上与FPN对应层聚合浅层特
征,使高层特征与浅层特征完成聚合,减少特征丢
失,提高检测准确度。
输出层采用GIOU_LOSS(广义交叉联合)作为
Boundingbox(边框回归)的损失函数,确定最佳边界
对应3种图像区框,并输出3种大小不同的特征图,
域。针对目标框的筛选,采用NMS非极大值抑制
操作。
—161—
1.3 模型评价
为保证本试验提出模型的有效性与可用性,采
用召回率(R)、精准度(P)、平均精准度(mAP)、单
幅图像检测耗时这4个指标来评价YOLOv5s目标
检测算法训练出的模型,相关指标的计算公式如下
所示。
TP
P=;
TP+FP
(1)
TP
R=;
TP+FN
P
∑
A
mAP=。
n
=1k
n
(2)
(3)
—162—
式中:TP表示真正样本数量;FP表示假正样本数
量;FN表示假负样本数量;N表示样本中种类数量;
AP表示单个样本的平均精准度,n为样本总数。
1.4 模型训练试验平台
2022年9月,在湖南农业大学蚁工团队实验室
服务器上完成试验。试验采用的计算机型号为
DELLT5820,搭载CPU为XEONW2155,内存32G,
显卡为NVIDIARTX30808G。软件操作系统为
Windows10,使用的编程语言为Python3.9,深度学
习的框架为Pytorch1.8。
针对不同部位新鲜烟叶的训练参数具体如下:
00,权重衰减系数设为0.0005,总迭代周期设为3
迭代批次大小设为8,初始化学习效率设为0.01,采
用余弦退火的衰减方式,其衰退率为0.01,置信度
.5。阈值设为0
2 结果与分析
2.1 模型训练结果
采用YOLOv5s目标检测算法,分别对新鲜烟
叶的上、中、下部叶数据集进行训练,不同部位新鲜
烟叶的成熟度模型训练过程的mAP值与损失函数
值随迭代周期变化的结果如图6至图8所示。mAP
值与损失函数值均在前50次迭代周期内迅速变化,
80次迭代周期后模型逐渐稳定。训练在1
—163—
表2 各模型测试效果
2.2 模型效果评估
各模型精确度(P)、召回率(R)、平均精准度
mAP)、单幅图检测耗时如表2所示。不同部位新(
鲜烟叶测试集的检测效果如图9至图11所示。
由测试结果可知,中部叶模型对欠熟、成熟的
检测精准度分别只有91.8%、93.8%,这是因为新
鲜中部烟叶欠熟与成熟烟叶的表面颜色特征比较
接近,对识别造成干扰,使得检测结果偏低。但不
同部位新鲜烟叶的成熟度模型在各自测试集上的
总体mAP值均在97%及以上,且单幅图的测量时间
为29~30ms,满足在高精准度水平的条件下稳定
检测图片的高速度。
2.3 与常见检测模型的对比
本试验在相同的训练环境与训练参数下,利用
目前常见的目标检测模型,对新鲜烟叶各部分数据
集分别进行训练。各模型测试结果如表3所示。
下部叶模型
中部叶模型
模型名称
上部叶模型
类别
欠熟
成熟
过熟
总体
欠熟
成熟
过熟
总体
欠熟
成熟
过熟
总体
P
(%)
98.5
94.3
94.9
95.9
91.8
93.8
99.5
95.0
99.8
98.6
93.4
97.3
R
(%)
100.0
100.0
97.7
99.2
97.3
92.1
92.9
94.1
97.9
96.4
100.0
98.1
mAP单幅平均图像
(%)检测时间(ms)
99.5
99.3
98.5
99.1
97.0
96.2
99.3
97.5
98.8
99.0
97.9
98.5
30.0
29.4
29.7
—164—
从YOLOv5s、Mask-RCNN、Faster-RCNN这3
种模型的对比试验中可以看出,Mask-RCNN、
Faster-RCNN模型的mAP值均低于YOLOv5s模
OLOv5s模型,单幅图像检测平均时间均远高于Y
型,说明通过YOLOv5s训练的不同部位新鲜烟叶
的检测模型,在mAP值、单幅图像平均检测时间方
表面,均明显优于另外2种常见的目标检测模型(
3)。图像的标注方式影响模型的训练结果,Faster-
、YOLOv5s的图像标注方式一致,两者的测试RCNN
结果基本一致,均是以上部叶测试结果为最佳。
表3 各检测模型测试效果
模型名称
YOLOv5s
检测部位
上部叶
中部叶
下部叶
Mask-RCNN上部叶
中部叶
下部叶
Faster-RCNN上部叶
中部叶
下部叶
mAP
(%)
97.9
95.5
95.6
87.9
88.7
92.0
83.4
66.5
66.3
单幅图像检测
ms)平均时间(
29.7
29.4
30.0
43.0
42.0
45.0
44.0
37.0
33.0
OLOv5s、Mask-RCNN、的目标检测模型———Y
Faster-RCNN,其中通过YOLOv5s训练的不同部
位的新鲜烟叶的检测模型均优于其余2种。
参考文献:
[1]胡永涛,汪代斌,陈益银,等.不同成熟度鲜烟素质对烤后烟叶品
质贡献度的研究[J].中国农业科技导报,2023,25(8):157-164.
[2]陆 超.基于中温中湿烘烤工艺的采收方式对上部烟叶质量影
D].长沙:湖南农业大学,2020.响[
[3]许自成,赵瑞蕊,王龙宪,等.烟叶成熟度的研究进展[J].东北
2014,45(1):123-128.农业大学学报,
[4]李佛琳,赵春江,刘良云,等.烤烟鲜烟叶成熟度的量化[J].烟
草科技,2007,40(1):54-58.
[5]李佛琳,赵春江,王纪华,等.一种基于反射光谱的烤烟鲜烟叶成
J].西南大学学报(自然科学版),2008,30(10):熟度测定方法[
51-55.
[6]韩龙洋,王一丁,张文龙,等.基于高光谱技术的烤烟成熟度判别
研究[J].延边大学农学学报,2015,37(4):286-291,301.
[7]刁 航,吴永明,杨宇虹,等.田间原位光谱的鲜烟叶成熟度判别
模型的研究[J].光谱学与光谱分析,2016,36(6):1826-1830.
[8]王承伟,宾 俊,范 伟,等.基于近红外光谱技术结合随机森林的
烟叶成熟度快速判别[J].西南农业学报,2017,30(4):931-936.
[9]杨 睿,宾 俊,苏家恩,等.基于近红外光谱与图像识别技术融
合的烟叶成熟度的判别[J].湖南农业大学学报(自然科学版),
2021,47(4):406-411,418.
[10]ChenY,BinJ,ZouCM,etal.Discriminationoffreshtobacco
leaveswithdifferentmaturitylevelsbynear-infrared(NIR)
spectroscopyanddeeplearning[J].JournalofAnalyticalMethods
inChemistry,2021,2021:1-11.
[11]LiJX,ZhaoH,ZhuSP,etal.Animprovedlightweightnetwork
architectureforidentifyingtobaccoleafmaturitybasedondeep
learning[J].JournalofIntelligent&FuzzySystems,2021,41(2):
4149-4158.
[12]曾祥云.一个基于深度学习的烤烟分级系统的设计与实现
[D].南京:东南大学,2017.
3 结论
本试验针对新鲜烟叶成熟度实时检测要求,研
究基于YOLOv5s目标检测算法对不同部位新鲜烟
叶成熟度的检测方法。依据烟叶所在位置将新鲜
烟叶分为上、中、下部叶,经过训练得到3种测试集,
且在3种测试集上的总体mAP值均在97%及以上,
单幅图的测量时间在29~30ms之间,满足对不同
部位新鲜烟叶检测实际要求。试验对比了3种常见
杨琳琳,别书凡,王建坤,等.基于深度学习的玉米植株表型检测方法研究[J].江苏农业科学,2023,51(19):165-172.
doi:10.15889/j.issn.1002-1302.2023.19.025
—165—
基于深度学习的玉米植株表型检测方法研究
,2,2
杨琳琳
1
,别书凡
1
,王建坤
1
,皇甫懿
1
,刘 焱
1
,李文峰
1
,施 杰
1
(1.云南农业大学机电工程学院,云南昆明650201;2.云南省作物模拟与智能调控重点实验室,云南昆明650201)
摘要:为了实现单株玉米植株表型的快速无损检测,提出了一种基于深度学习的玉米植株表型检测方法。采集玉
米植株表型数据集(包含多视角玉米植株图像和人工测量的鲜质量、干质量、叶面积表型数据),采用大步距卷积、
resize降尺寸和大步距池化层降采样3种方法进行图像降采样,减少了模型计算消耗的资源,降低了图像的尺寸,并对
比普通卷积、深度卷积、深度可分离卷积3种卷积的效果。改进了均方误差(MSE)和平均绝对误差(MAE),对不同数
据量的样本区间给予不同的权重,解决了小型数据集存在的数据不均衡问题。在对比试验中,首先构建鲜质量表型检
测模型,然后将表现较好的模型在干质量与叶面积模型中试验,筛选出对应的最优模型。结果显示,基于深度卷积和
B-MSE损失函数的模型在玉米植株鲜质量、干质量、叶面积上的效果都最优。其中,深度卷积的效果最好。改进后
2
MSE和B-MAE在玉米鲜质量3个模型测试集上的相关系数r均达到了0.98以上,确定系数R均达到了的B-
097以上,平均绝对百分比误差MAPE均在3.2%以内,在干质量与叶面积模型上也提高了测试集上的相关系数r和
2
确定系数R,并且降低了MAPE。
关键词:玉米;植株表型;深度学习;数据不均衡;无损检测
中图分类号:S126;TP391.41 文献标志码:A 文章编号:1002-1302(2023)19-0165-08
玉米是世界上重要的粮食作物,其营养价值较
高,同时,玉米也是食品、轻工业、化工业等产业不
可或缺的原料之一。玉米长势会直接影响到其产
量和品质,有效地监测玉米长势可以为田间管理、
早期产量估算提供宏观的信息,为国家和相关部门
决策提供重要的参考依据,因此玉米长势监测研究
1-2]
具有重要的现实意义
[
。
近年来,植物表型组学逐渐兴起并成为一门快
3-4]
。借助机器视觉技速发展的数据密集型学科
[
术、图像分割和深度学习等技术来准确地对植物的
重要特征进行采集和分析,是育种和生产过程管理
5]
的重要技术手段
[
。玉米的表型信息能直观地描
述玉米长势,传统的植物表型研究主要依靠人工观
察和测量得到,这种方法往往依赖于手动检测小样
本的个别性状,能够得到的数据量非常有限,并且
难以对植物的多种性状进行综合分析,也容易引入
6-7]
人为因素导致的测量数据误差
[
。因此,需要一
收稿日期:2023-04-27
基金项目:国家自然科学基金(编号:31860331、32160420);云南省重
202202AE090021)。大科技专项(编号:
作者简介:杨琳琳(1979—),女,山东寿光人,博士,副教授,研究方向
为智能检测及自动控制。E-mail:29545343@qq.com。
通信作者:施 杰,博士,副教授,研究方向为深度学习。E-mail:
km_shijie@126.com。
种新型玉米表型检测方法,能快速、无损、准确地获
取表型。基于无人机的玉米植株表型检测方法在
8]
大田中已有应用
[
,但无人机仅能检测大田作物的
整体生长状况,缺乏对单株植物的表型监测。基于
櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄櫄
[13]王士鑫.基于卷积神经网络(CNN)的烤烟烟叶质量分级研究
[D].昆明:云南师范大学,2020.
[14]谢滨瑶,祝诗平,黄 华.基于BPNN和SVM的烟叶成熟度鉴
别模型[J].中国烟草学报,2019,25(1):45-50.
[15]GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesfor
accurateobjectdetectionandsemanticsegmentation[C]//2014
IEEEConferenceonComputerVisionandPatternRecognition.
,OH,USA:IEEE,2014:580-587.Columbus
[16]GirshickR.FastR-CNN[C]//ProceedingsoftheIEEE
internationalcoferenceoncomputervision.2015:1440-1448.
[17]RedmonJ,DivvalaS,GirshickR,etal.Youonlylookonce:
unified,real-timeobjectdetection[EB/OL].(2016-05-09)
[2023-02-12].https://arxiv.org/abs/1506.02640.
[18]LiuW,AnguelovD,ErhanD,etal.SSD:SingleShotMultiBox
Detector[EB/OL].(2016-12-29)[2023-02-12].https://
doi.org/10.48550/arXiv.1512.02325
[19]高梦婷,孙 晗,唐云祁,等.基于改进YOLOv5的指纹二级特
征检测方法[J].激光与光电子学进展,2023,60(10):89-99.