基于改进YOLOv5s+DeepSORT的煤块行为异常识别-USB迷|专注于互联网分享

2024年4月15日发(作者：梅静逸)

第 48 卷第 6 期

2022 年 6 月

工　矿　自　动　化

Journal of Mine Automation

Vol. 48 No. 6

Jun. 2022

文章编号：1671−251X（2022）06−0077−11

DOI：10.13272/.1671-251x.17915

基于改进YOLOv5s+DeepSORT的煤块行为异常识别

张旭辉

，闫建星

，张超

，万继成

，王利欣

，胡成军

，王力

，王东

（1. 西安科技大学机械工程学院，陕西西安　710054；

2. 中煤（天津）地下工程智能研究院，天津　300121；

3. 陕西煤业化工集团孙家岔龙华矿业有限公司，陕西榆林　719314）

摘要：煤块检测方法主要包括传统图像检测方法和深度学习目标检测方法。传统图像检测方法检测精度不

高、实时性较差、无法对堆煤进行准确判断；深度学习目标检测方法虽然可以实现实时检测，但没有对煤块的数

量、滞留和堵塞状态进行识别，而且识别模型参数较多。针对上述问题，提出了一种基于改进YOLOv5s+DeepSORT

的煤块行为异常识别方法。首先通过摄像头和巡检机器人采集煤矿综采工作面带式输送机上煤块视频图像，并

制作数据集。然后利用MobileNetV3_YOLOv5s_AF−FPN模型进行煤块图像目标检测：通过MobileNetV3替换

原始YOLOv5s主干特征提取网络，减少参数量，提高推理速度；将YOLOv5s中原有的特征金字塔网络改进为增

强特征金字塔网络（AF−FPN），以提高YOLOv5s网络对多尺度煤块目标的检测性能。利用DeepSORT进行煤块

多目标跟踪：将改进YOLOv5s模型检测后的煤块图像作为DeepSORT的输入进行多目标跟踪，利用DeepSORT

对煤块进行状态估计、数据关联匹配和跟踪器参数更新，确定跟踪结果，并对连续跟踪的煤块进行ID编码，对当

前帧的煤块数量进行计数。最后在目标跟踪器中取出连续跟踪的目标，设置距离阈值，判断其是否滞留；设置数

量阈值，判断其是否堵塞，最终实现煤块滞留和堵塞行为异常识别。利用自建dkm_data2021数据集对基于改进

YOLOv5s+DeepSORT的煤块行为异常识别方法的可靠性进行实验验证，结果表明：改进YOLOv5s模型相比

YOLOv5s模型平均检测精度提高了1.45%，参数量减少了35.3%，推理加速了12.7%，平均漏检率降低了

11.08%，平均误检率降低了11.54%；基于改进YOLOv5s+DeepSORT的煤块行为异常识别方法检测精度为

80.1%，可准确识别煤块滞留、堵塞状态，验证了该方法的可靠性。

关键词：煤块识别；煤块目标检测；目标跟踪；异常行为识别；煤块特征提取；煤块滞留；煤块堵塞；深

度学习

中图分类号：TD76　　　　文献标志码：A

Coal block abnormal behavior identification based on improved YOLOv5s + DeepSORT

ZHANG Xuhui

, YAN Jianxing

, ZHANG Chao

, WAN Jicheng

, WANG Lixin

HU Chengjun

, WANG Li

, WANG Dong

(1. College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China；

2. China Coal (Tianjin) Underground Engineering Intelligence Research Institute, Tianjin 300121, China；

3. Sunjiacha Longhua Mining Co., Ltd., Shaanxi Coal Chemical Industry Group, Yulin 719314, China)

Abstract: Coal block detection methods mainly include traditional image detection methods and deep

learning target detection methods. The traditional image detection method has low detection precision and poor

收稿日期：2022-04-12；修回日期：2022-06-10；责任编辑：张强。

基金项目：国家自然科学基金项目（51834006）；陕西省重点研发计划项目（2018ZDCXL-GY-06-04）。

作者简介：张旭辉（1972−）,男，陕西凤翔人，教授，博士，博士研究生导师，研究方向为煤矿机电设备智能检测与控制，E-mail：

zhangxh@。通信作者：闫建星（1995−），男，陕西榆林人，硕士研究生，研究方向为智能检测与控制，E-mail:

yanjianxing2013@。

引用格式：张旭辉，闫建星，张超，等. 基于改进YOLOv5s+DeepSORT的煤块行为异常识别[J]. 工矿自动化，2022，48（6）：77-86, 117.

ZHANG Xuhui, YAN Jianxing, ZHANG Chao, et al. Coal block abnormal behavior identification based on improved YOLOv5s +

DeepSORT[J]. Journal of Mine Automation，2022，48（6）：77-86, 117.

•

工矿自动化第 48 卷

real-time performance, and can not accurately determine the coal pile. Although the deep learning target detection

method can achieve real-time detection, it does not identify the number, retention, and blockage of coal blocks.

And there are many identification model parameters. To solve the above problems, a coal block abnormal

behavior identification method based on improved YOLOv5s + DeepSORT is proposed. Firstly, video images of

coal blocks on a belt conveyor in a fully mechanized coal mining face are collected by the camera and inspection

robot, and data sets are made. Secondly, the MobileNetV3_YOLOv5s_AF-FPN model is used for detecting the

coal image target. The original YOLOv5s backbone feature extraction network is replaced by MobileNetV3 to

reduce the number of parameters and improve the reasoning speed. The original feature pyramid network in

YOLOv5s is improved to AF-FPN to improve the detection performance of the YOLOv5s network for multi-scale

coal targets. DeepSORT is used for multi-target tracking of coal blocks. The coal block image detected by the

improved YOLOv5s is taken as the input of DeepSORT for multi-target tracking. DeepSORT is used to estimate

the state of coal blocks, perform data association and matching, and update the tracker parameters to determine the

tracking results. The continuously tracked coals are ID-coded, and the number of coals in the current frame is

counted. Finally, the continuously tracked target is taken out from the target tracker, and a distance threshold is

set. Whether the target is detained or not is determined. The quantity threshold is set to determine whether it is

blocked. The identification of abnormal behavior of coal block retention and blocking state is finally realized. The

reliability of the coal abnormal behavior identification method based on the improved YOLOv5s + DeepSORT is

experimentally verified by using the self-built dkm_data2021 data set. The results show that compared with the

YOLOv5s model, the average detection precision of the improved YOLOv5s model is improved by 1.45%, the

parameter quantity is reduced by 35.3%, the reasoning is accelerated by 12.7%, the average missed detection rate

is reduced by 11.08%, and the average false detection rate is reduced by 11.54%. The detection precision of coal

block abnormal behavior identification method based on the improved YOLOv5s+DeepSORT is 80.1%, which

can accurately identify the status of coal block retention and blockage. The result verifies the reliability of the

method.

Key words: coal block identification; coal block target detection; target tracking; abnormal behavior

identification; coal block feature extraction; coal block retention; coal block blockage; deep learning

0　引言

煤矿环境及危险源感知与安全预警是智能煤矿

与智能化开采关键核心技术

[1]

。综采工作面在采煤

过程中会产生大量煤矸，为防止煤块对运输设备造

成损坏，准确识别与检测刮板输送机上的煤块及

其数量，判断煤块滞留、堵塞状态并进行预警至关

重要

[2]

。

目前，煤块检测方法主要包括传统图像检测和

深度学习目标检测2类。张渤等

[3]

通过对图像进行

预处理、灰度化、阈值分割，提取运动煤块进行标

记，实现了大块煤检测。许军等

[4]

提出了一种基于

图像处理的溜槽堆煤预警方法，通过分析图像运动

和亮度特性，根据阈值提取煤块区域，计算煤块煤粒

度比值和累计煤粒度比值的大小进行堆煤预警。

张立亚

[5]

采用无监督分割算法获取煤堆边界，根据

煤量在网格中的时间长短判断堆煤预警。以上文献

都是通过传统图像处理进行边缘提取和利用阈值来

识别煤块和堆煤预警，存在检测精度不高、实时性

较差、无法对堆煤进行准确判断等问题。深度学习

目标检测方法主要有双阶段检测方法和单阶段检测

方法

[6-8]

。南柄飞等

[9]

提出了一种基于视觉显著性的

煤矿井下关键目标对象实时感知方法，提高了目标

检测的精度与实时性。杜京义等

[10]

针对现有煤块检

测方法检测精度不高的问题，提出了一种基于改进

HED神经网络融合Canny算子的煤矿井下输煤大块

物检测方法，将预处理图像输入改进的HED神经网

络与Canny算子融合模型中，得到边缘图像，通过二

进制填充图像，并进行标注得到大块物个数与面积。

Wang Yujing等

[11]

通过改进SSD（Single Shot MultiBox

Detector，单步多框检测器）损失函数和优化锚框的

尺寸，提高了目标的检测精度。胡璟皓等

[12]

基于

YOLOv3模型，通过Focal Loss改进损失函数，解决

了非煤异物样本不平衡问题，通过实验确定最优参

数，提高了检测精度。叶鸥等

[13]

提出了一种融合轻

量级网络和双重注意力机制的煤块检测方法，减少

2022 年第 6 期

张旭辉等：基于改进YOLOv5s+DeepSORT的煤块行为异常识别

•

了模型参数。以上文献都是利用深度学习方法实

现大块物的检测，但是没有对煤块的数量、滞留和

堵塞状态进行识别，而且识别模型参数较多，对计算

机硬件要求比较高，无法在显存和内存小的设备上

部署

[14-15]

。

针对以上问题，本文提出了一种基于改进

YOLOv5s+DeepSORT的煤块行为异常识别方法。选

择参数量最少、检测速度最快、识别精度较高的

YOLOv5模型进行煤块目标检测，将YOLOv5s模型

主干网络替换为MobileNetV3，以减少其参数量

和计算量，并将YOLOv5s模型中原有的特征融合网

络改进为增强特征金字塔网络（Adaptive Attention

Module and Feature Enhancement Module-Feature

Pyramid Network，AF−FPN）

[16]

，以提高YOLOv5s网

络对多尺度煤块目标的检测性能；将改进YOLOv5s

模型检测后的煤块应用DeepSORT算法进行多目标

跟踪，设置距离阈值，判断其是否滞留；设置数量阈

值，判断其是否堵塞。实验结果证明了该方法的可

靠性。

减少模型层数，提高运行速度。CSP网络结构由

CBL模块、Resuit模块、Concat通道融合结构、

Leaky_Relu组成。CBL模块由卷积模块（Conv）、批

标准化模块（Batch Normalization，BN）、激活函数

（Leaky_Relu）构成。SPP可以增大特征图的感受

野。Neck包含FPN（Feature Pyramid Networks，特征

金字塔网络）、PAN（Path Aggregation Network，路径

聚合网络）

[18]

。Output通过Conv输出不同尺度的检

测结果，包括NMS（Non-Maximum Suppression，非极

大值抑制）和损失函数。YOLOv5s原始模型中使用

GIoU

[19]

作为损失函数。

1.2　YOLOv5s特征提取网络改进

为了进一步减少YOLOv5s参数量，提高推理速

度，本文使用MobileNetV3_Large结构改进YOLOv5s

的主干网络，改进后的YOLOv5s网络整体框架如图2

所示。

MobileNetV3

Conv2d

Input

Mosaic 数据增强、

自适应图像填充、

自适应锚框

Neck

Output

1　改进YOLOv5s模型

1.1　YOLOv5s模型

YOLOv5s 模型主要由Input、Backbone、Neck和

Output组成，如图1所示。

Bneck

Conv

52×52

Bneck

Input

Mosaic 数据增强、

自适应图像填充、

自适应锚框

Output

26×26

Bneck

13×13

Neck

SPP

Conv

FPN

PAN

FPN

PAN

Backbone

Focus

Conv

CSP (1)

Conv

PAN

图 2 改进后的YOLOv5s网络结构

Fig. 2 Improved YOLOv5s network structure

CSP (2)

FPN

MobileNetV3_Large 结构见表1，其中Input Shape

Conv

为输入特征图，Operator为对特征层进行Block处

理，SE为注意力机制，AF为激活函数（HS表示

H−Swish函数，RE表示ReLU函数），Stride为卷积的

步长。

MobileNetV3_Large结构的核心模块是Bneck，

如图3所示。Bneck采用了深度可分离卷积与残差

结构，并加入了注意力机制，提高了特征提取能力。

相比传统卷积，Bneck核心在几乎不影响模型性能的

同时使模型参数量、计算量减少。

为在保持精度的同时提高推理速度，在

MobileNetV3中引入了H−Swish函数，在设计特征提

取网络时，考虑到模型检测的实时性要求，在网络前

CSP (3)

FPN

PAN

SPP

Conv

图 1 YOLOv5s网络结构

Fig. 1 YOLOv5s network structure

Input为输入端，采用Mosaic数据增强、自适

应图像填充、自适应锚框对输入图像进行处理。

Backbone为CSPDarknet53主干网络，主要包含

Focus、CSP和SPP（Spatial Pyranid Pooling，空间金字

塔模块）结构

[17]

。Focus对输入图像进行切片操作，

•

工矿自动化

表 1 MobileNetV3_Large结构

Table 1 MobileNetV3_Large structure

第 48 卷

Input Shape

224

×3

112

×16

112

×16

56×24

×24

×40

28×40

×80

14×80

×112

×160

7×160

×160

×960

×1

280

模块（Feature Enhancement Module，FEM）。AAM减

少了特征通道，降低了在高层特征图中上下文信息

Stride

Operator

Conv2d

Bneck,3×3

Bneck,5×5

Conv2d,1×1

Pool, 7×7

Conv2d,1×1

−

√

−

√

−

丢失概率；FEM增强了特征金字塔的表示并加快了推

理速度，在保证实时检测的前提下提高了YOLOv5s

网络对煤块多尺度目标的检测性能。MobileNetV3_

YOLOv5s_AF−FPN网络结构如图4所示。

MobileNetV3

特征提取网络

Conv2d

Input

Mosaic 数据增强、

自适应图像填充、

自适应锚框

Neck 特征融合网络

Head

Bneck

52×52

FEM

下采样

PAN

FEM

Conv

Bneck

26×26

上采样

Bneck

13×13

SPP

AAM

上采样

FEM

下采样

PAN

Conv

图 4 MobileNetV3_YOLOv5s_AF−FPN网络结构

Fig. 4 MobileNetV3_YOLOv5s_AF-FPN network structure

输入图像通过多个卷积生成多尺度特征图C

−

，C

通过AAM生成M

。M

与M

求和融合，得

到新的特征图，通过自上而下传递特征，将高层特征

图放大后与浅层特征图融合，每次融合后通过

FEM自适应学习感受野，同时将浅层中的定位信息

自下向上进行传递，增强整个特征层次。PAN缩短

了浅层和高层特征之间的信息路径，能够准确保存

空间信息，增强整个特征提取网络的定位能力。

AAM的网络结构如图5所示。作为AAM的输

入，特征图C

的大小S=H×W（H为特征图长度，

W为特征图宽度）。通过自适应平均池化层获得具

有不同特征尺度（β

×S，β

为不同特征尺度对应的系

数，i为系数个数，i=1，2，3；β

为[0.1,0.5]，可以根据

数据集中的目标大小自适应变化）的多个上下文特

征，每个上下文特征经过1×1卷积获得相同的信道

维度（256）。采用双线性插值法采集不同尺度特征图

的信息，以进行后续融合。空间注意力机制通过

Concat层合并3个上下文特征的通道，将融合后的

特征图依次经过1×1卷积层、ReLU激活层、3×3卷

积层和Sigmoid激活函数，生成相应的空间权值图。

生成的空间权值图和融合后的特征图经过Hadmard

Product分离并添加到特征图M

中，得到具有上下

Conv2d 1×1 PW

BatchNormalization

H-Swish

Conv2d 3×3 DW

BatchNormalization

H-Swish

Conv2d 1x1 DW

BatchNormalization

图 3 Bneck网络结构

Fig. 3 Bneck network structure

端采用ReLU函数，在后端采用H−Swish函数，减少

H−Swish造成的网络延迟，达到检测速度和精度的

平衡。

1.3　YOLOv5s特征融合网络改进

刮板输送机上的煤块尺度变化较大，为提高对

煤块多尺度目标的检测性能，将YOLOv5s中原有的

特征金字塔网络改进为AF−FPN。AF−FPN在原有

的特征金字塔网络的基础上，增加了自适应注意力

模块（Adaptive Attention Module，AAM）和特征增强

2022 年第 6 期

张旭辉等：基于改进YOLOv5s+DeepSORT的煤块行为异常识别

•

文特征的新的特征图M

，最终的特征图具有丰富的

多尺度上下文信息，在一定程度上减轻了由于通道

数量的减少而造成的信息丢失。

多分支卷积层

扩张卷积层BN 层+ReLU 激活层

(H×W)

Adaptive pooling layer

(H×W)

Upsampling

H×W

(H×W)

Upsampling

H×W

Concat

Conv 1×1

H×W

ReLU

Conv 3×3

Sigmoid

H×W

Hadmard Product

H×WH×W

Matrix

训练模型

(H×W)

目标跟踪

H×W

搭建改进

YOLOv5s

网络模型

目标检测

运动匹配:

马氏空间距离

扩张率为 7

(H×W)

Upsampling

H×W

扩张率为 5

扩张率为 3

多

分

支

池

化

层

图 6 FEM网络结构

Fig. 6 FEM network structure

YOLOv5s

目标检测

制作煤块

数据集

视频图像

DeepSORT

目标跟踪

卡尔曼滤波

估计

外观匹配:

马氏空间距离

图 5 AAM网络结构

Fig. 5 AAM network structure

FEM主要利用空洞卷积，根据检测到的煤块的

不同尺度自适应学习每个特征图中不同的感受野，

从而提高多尺度目标检测和识别的准确性。FEM网

络结构如图6所示，分为2个部分：多分支卷积层和

多分支池化层。多分支卷积层由扩张卷积层、BN层

和ReLU激活层组成。3个平行分支中的扩张卷积

具有相同尺寸的扩张卷积核，但扩张率不同，分别为

3，5和7。平均池化层用于融合来自3个分支感受野

的煤块信息，以提高煤块多尺度预测的准确性。

取连续跟踪的

每个目标 50 帧

边界框信息

当前帧

计数

级联匹配与

IOU 匹配

最大像素

距离<5?

跟踪器

参数更新

数量=0?

数量<阈值?

刮板输送

机高速

刮板输送

机停机

滞留数量>3?

滞留

刮板输送

机低速

2　煤块行为异常识别

堵塞

2.1　煤块行为异常识别方法

针对煤块滞留和堵塞的行为，提出了一种融合

改进YOLOv5s+DeepSORT的煤块行为异常识别方

法，流程如图7所示。

（1）通过摄像头和巡检机器人采集煤矿综采工

作面视频图像，并制作数据集。

（2）将当前煤块图像输入到训练好的改进

YOLOv5s目标检测模型中，得到煤块的定位信息。

显示结果并

发出对应报警

操作人员

处理

正常

图 7 煤块行为异常识别方法流程

Fig. 7 Flow of coal block abnormal behavior identification method

（3）将经过YOLOv5s目标检测后的煤块边界框

信息输入到DeepSORT中，对煤块进行状态估计，通

过运动匹配、外观匹配、级联匹配与IoU（Intersection

•

工矿自动化第 48 卷

，交并比）匹配进行数据关联匹配，通过跟over Union

踪器参数更新确定跟踪结果，并对连续跟踪的煤块

进行ID编码，对当前帧的煤块数量进行计数。

（4）在目标跟踪器中取出连续跟踪的每个目标

框的50帧边界框信息，循环计算这50帧内的同一个

目标的最大像素距离。统计煤块移动距离，如果最

大像素距离小于5，则判定为滞留状态，进行报警和

处理，以防进一步造成煤块堵塞；否则判定为正常运

输状态。

（5）统计煤块滞留数，如果滞留数超过3，则判

定为堵塞状态，进行报警和处理。

（6）根据当前帧煤块数量进行刮板输送机的调

速。当检测到的煤块数量为0时，刮板输送机停机；

当检测到的煤块数量小于阈值时，刮板输送机低速

运行；当检测到的煤块数量大于阈值时，刮板输送机

高速运行。

煤块的位置完成当前帧煤块位置的预测；更新阶段

根据当前帧检测到的煤块位置更新预测阶段的煤块

位置。煤块的状态预测为

{

=FX

t−1

=FP

t−1

（2）

式中：

为第

帧煤块的位置；

为状态转移矩阵；

为第t帧煤块的误差协方差矩阵；

t−1

为过程噪声

矩阵。

煤块的状态更新为



()

−1



EEPE



t+1tt





t+1

−EX



t+1





t+1

(

I−K

t+1

)

（3）

式中：

t+1

为第

t+1

帧煤块的卡尔曼增益；

为煤块的

观测矩阵；

为煤块观测噪声；

t+1

为第

t+1

帧煤块

检测位置与预测位置之间的残差；

t+1

为

更新后

第

t+1

帧的煤块位置；

t+1

为更新后第

t+1

帧煤块位

置误差的协方差矩阵；

为单位矩阵。

2.2　DeepSORT多目标跟踪算法

DeepSORT多目标跟踪算法流程如图8所示，包

括煤块状态估计、数据关联匹配和跟踪器更新3个

步骤。

2.2.2　数据关联匹配

数据关联匹配可以使帧与帧之间的煤块保持关

联，保证同一煤块编码ID的一致性

[20]

。利用卡尔曼

滤波对煤块检测结果进行预测。使用运动匹配和外

煤块状态

估计

轨迹

确定轨迹

未确定

轨迹

检测输出

数据关联

匹配

级联匹配

观匹配的线性加权作为煤块匹配衡量指标。使用级

联匹配优先匹配消失时长较小的煤块轨迹，解决煤

块被遮挡的问题。

通过计算检测框和第

个轨迹预测框的面积得

到IoU，计算公式为

A∩B

A∪B

匹配轨迹

跟踪器

更新

匹配轨迹

新不确定

轨迹

3 次匹配确定轨迹

未匹配

检测

IoU 匹配

未匹配

检测

未匹配

轨迹

（4）

未匹配

轨迹

未确定

轨迹

式中A，B分别为预测框与检测框的面积。

运动匹配是用马氏空间距离计算经卡尔曼滤波

后的煤块预测位置和检测位置的匹配程度。

()

(1)

(i,j)=d

−y

−

−y

（5）

确定轨迹

<生存帧数>生存帧数

轨迹删除

式中：

(1)

(i,j)

为第

个轨迹和第

个检测框预测得到的

边界框的马氏距离；

为第

个煤块检测框；

为第

个

轨迹预测边界框；

为第

个轨迹预测在当前测量空

间的协方差矩阵。

当马氏距离小于指定阈值时，认为煤块匹配成功。

外观匹配是利用最小余弦距离计算当前帧中所

（1）

图 8 DeepSORT多目标跟踪算法流程

Fig. 8 DeepSORT multi-target tracking algorithm flow

2.2.1　煤块状态估计

为跟踪YOLOv5s模型检测到的每一块煤块，定

义8维状态向量

表征煤块的状态：

x=(u,v,γ,q,u˙,v˙,γ˙,q˙)

有煤块的特征向量与历史轨迹中所有煤块特征向量

之间的外观相似度。

(i)

(2)

(i,j)=min{1−r

(i)

∈L

}

式中：

(u,v)

为煤块的中心坐标；

，

分别为煤块边界

u,v˙,γ˙,q˙)

为煤块

(u,v,γ,q)

在图像坐框的宽高比和高；

(˙

（6）

标系中对应的速度信息。

煤块的状态估计通过卡尔曼滤波器实现，包括

预测和更新2个阶段。预测阶段根据前一帧被跟踪

式中：

(2)

(i,j)

为第

个轨迹和第

个检测框的最小余弦

距离，若

(2)

(i,j)

小于卷积神经网络训练阈值，则关联

成功；

为当前帧第

个检测框

的外观描述符，限定

2022 年第 6 期

张旭辉等：基于改进YOLOv5s+DeepSORT的煤块行为异常识别

•

∥

；o

（i）

为第i个确定轨迹储存的最近100帧条件为

∥

成功关联的特征向量，

为外观特征向量库，用于存

储每个确定轨迹的外观特征向量。

将马氏距离与余弦距离线性加权作为关联匹配

的衡量值：

i,j

=λd

(1)

(i,j)+(1−λ)d

(2)

(i,j)（7）

为Intel（R） Core（TM） i7−11800H（内存16 GB）和NVIDIA

GeForce RTX 3060 Laptop GPU（显存6 GB）；模型测

试硬件环境为Intel（R） Core（TM） i7−8750H（内存

16 GB）和NVIDIA RTX 2080 Ti（显存6 GB）。

3.2　参数设置及评价指标

模型训练参数设置：输入图像大小为608×608，

迭代次数为100，批次大小为16，初始学习率为0.001。

将模型参数量、推理时间、召回率

、平均精度

、平均漏检率

、平均误检率

作为评估各模型

式中

为权重系数。

若

i,j

落在指定阈值范围内，则认定实现正确关联。

煤块数据关联匹配后，跟踪器需要更新，以便进

2.2.3　跟踪器更新

行下一帧的煤块跟踪。跟踪器更新主要包括以下

3种情况：

（1）对于匹配成功的跟踪器，被检测的煤块将继

承与其匹配成功的跟踪器编码，并利用匹配成功的

边界框的信息预测下一帧煤块位置。

（2）对于级联匹配未成功的跟踪器，DeepSORT

会进行IoU匹配，若匹配成功，则继承跟踪器编码；

匹配不成功的跟踪器，考虑检测器漏检的情况，如果

跟踪轨迹的标记为不确定，则删除轨迹，如果标记为

确定，则为其设置生存帧数，若在生存帧数之内仍匹

配失败，则移除轨迹。

（3）对于级联匹配未成功的被检测煤块，

DeepSORT会进行IoU匹配。对于IoU匹配未成功

的被检测煤块，为其建立一个新的跟踪器，分配编

码，并标记为不确定轨迹，进行3次匹配，若匹配成

功，则标记为确定轨迹。

的客观指标。

（8）

（9）

（10）

（11）

式中：T

为被正确检测出的煤块；F

为没有被检测出

的煤块；F

为误检的煤块；T

为没有被误检的煤块。

在多目标跟踪实验评价中，选用多目标跟踪准

确率（Multiple Object Tracking Accuracy，MOTA）和多

目标跟踪精度（Multiple Object Tracking Precision，

MOTP）作为评价指标，同时考虑误检、漏检的情况

来评价跟踪算法的性能。MOTA值越大表示性能越

好；MOTP用于定量分析跟踪器的定位精度，值越大

表示精度越高。

3　实验与分析

3.3　实验评估与分析

3.1　数据集及实验环境

实验所用的数据集主要源自陕西榆林市某煤

矿。用ffmpeg调取刮板输送机输送煤块的工作视

频，每隔1 s存储1张图像，共得到10 000张真实图

像，涵盖了不同尺寸的煤块。通过LabelImg工具进

行标注，制作dkm_data2021数据集。

3.3.1　YOLOv5s特征提取网络实验对比

为了验证主干网络轻量化改进的有效性，对改

进前后的 YOLOv5s进行实验对比，实验结果见表2。

从表2 可看出，MobileNetV3_YOLOv5s 与YOLOv5s相

比，平均精度降低了3.2%，参数量减少了49.8%，推

理加速了20.6%，在精度略低的情况下，参数量大幅

下降。

表 2 特征提取网络实验对比

Table 2 Comparison of feature extraction network experiments

实验以Pytorch为软件框架，模型训练硬件环境

模型

YOLOv5s

MobileNetV3_ YOLOv5s

召回率

0.785

0.766

平均精度

0.821

0.795

参数量/M

7.09

3.56

平均漏检率

0.334

0.365

平均误检率

0.026

0.027

推理时间/ms

18.9

15.0

3.3.2　YOLOv5s特征融合网络改进实验对比

为了验证特征融合网络的有效性，设置了2组

改进网络进行对比实验，实验结果见表3。从表3可

看出，YOLOv5s_AF−FPN相比YOLOv5s，平均精度

提高了4.94%；MobileNetV3_YOLOv5s_ AF−FPN相

比MobileNetV3_YOLOv5s，平均精度提高了5.78%，

说明YOLOv5s_AF−FPN相比YOLOv5s原有的特

征金字塔，提高了多尺度煤块目标的检测精度。

•

工矿自动化

表 3 特征融合网络实验对比

Table 3 Comparison of feature fusion network experiments

模型

YOLOv5s

召回率

0.785

0.824

0.766

0.810

平均精度

0.829

0.870

0.795

0.841

参数量/M

7.09

8.12

3.56

4.59

平均漏检率

0.334

0.365

0.297

平均误检率

0.026

0.027

0.023

第 48 卷

推理时间/ms

18.9

15.0

16.5

YOLOv5s_AF−FPN

MobileNetV3_YOLOv5s

MobileNetV3_YOLOv5s_AF−FPN

MobileNetV3_YOLOv5s_AF−FPN相比YOLOv5s平

均精度提高了1.45%，参数量下降了35.3%，推理加

速了12.7%，平均漏检率降低了11.08%，平均误检率

降低了11.54%，在精度和实时性方面都有提升。

为进一步验证MobileNetV3_ YOLOv5s_AF−

FPN模型的可靠性，分别测试YOLOv5s模型与

MobileNetV3_ YOLOv5s_AF−FPN模型在光照不均

匀、有粉尘、清晰环境下的煤块检测效果，效果对比

如图9所示，其中边界框上面的dkm表示检测的煤

块标签，数字表示检测煤块的相似度。从图9可看

出，MobileNetV3_YOLOv5s_AF−FPN相比YOLOv5s，

检测出的煤块更多，对小目标的检测性能更好，表明

MobileNetV3_YOLOv5s_AF−FPN模型对不同环境、

不同尺度的煤块检测精度更高。

dkm 0.85

dkm 0.93

dkm 0.96

dkm 0.92

dkm 0.86

dkm 0.94

dkm 0.93

dkm 0.96

dkm 0.93

dkm 0.95

（a）原图 1 (清晰环境下)（b） YOLOv5s 检测结果 1（c） MobileNetV3_YOLOv5s_AF−FPN

检测结果 1

dkm 0.94

dkm 0.88

dkm 0.93

dkm 0.95

dkm 0.92

dkm 0.93

dkm 0.94

（d）原图 2 (光照不均匀)（e） YOLOv5s 检测结果 2（f） MobileNetV3_YOLOv5s_AF−FPN

检测结果 2

dkm 0.94

dkm 0.95

（g）原图 3 (有粉尘)（h） YOLOv5s 检测结果 3（i） MobileNetV3_YOLOv5s_AF−FPN

检测结果 3

图 9 YOLOv5s模型与MobileNetV3_YOLOv5s_AF−FPN模型的煤块检测效果对比

Fig. 9 Comparison of coal detection effect of YOLOv5s model and MobileNetV3_YOLOv5s_AF-FPN model

3.3.3　煤块行为识别实验

为了进一步验证煤块行为异常识别方法的

有效性，分别用YOLOv5s+DeepSORT、MobileNetV3_

YOLOv5s_ AF−FPN+ DeepSORT算法对刮板输送机

上煤块正常状态、煤块滞留、煤块堵塞进行实验测

试，用客观评价指标进行定量分析，结果见表4。视频

图像帧大小1 280×720，帧率为30帧/s。从表4可看

出，MobileNetV3_YOLOv5s_ AF−FPN+DeepSORT相

比YOLOv5s+DeepSORT，跟踪准确率提高了4.79%，

跟踪精度提高了4.71%，漏检数减少了24个，误检数

2022 年第 6 期

张旭辉等：基于改进YOLOv5s+DeepSORT的煤块行为异常识别

•

个。MobileNetV3_YOLOv5s_AF−FPN检测减少了15

精度更高，达80.1%，更有利于多目标跟踪。

fps=55

Normal

Current_number=1

dkm2

fps=48

Normal

Current_number=1

表 4 多目标跟踪结果对比

Table 4 Comparison of multi-target tracking results

模型

YOLOv5s+DeepSORT

MobileNetV3_YOLOv5s_

AF−FPN+DeepSORT

dkm2

MOTA/%MOTP/%

漏检数误检数

60.5

63.4

76.5

80.1

119

推理速度/

（帧·s

−1

）

（a）第 136 帧

fps=55

fps=44

Stop=1

Current_number=1

（b）第 238 帧

fps=55

fps=50

Stop=1

Current_number=1

用MobileNetV3_YOLOv5s_AF−FPN+DeepSORT

算法检测煤块不同状态，效果如图10−图12所示，

其中边界框上dkm表示检测的煤块标签，后面的数

字表示目标跟踪分配的ID编号；fps为推理速度；

Normal、Stop、Block分别表示当前帧检测到的煤块

为正常状态、滞留状态、堵塞状态；Current_number

为当前帧中的煤块数量；煤块正常状态目标框为蓝

色，煤块异常行为状态目标框为红色。

dkm2

（c）第 286 帧（d）第 407 帧

图 11 煤块滞留

Fig. 11 Coal block retention

fps=27

Normal

Current_number=3

dkm27

dkm26

fps=55

Normal

Current_number=1

dkm1

fps=33

Normal

Current_number=2

dkm2

dkm1

fps=55

fps=32

Stop=2

Current_number=2

dkm27

dkm26

dkm24

（a）第2 156 帧

（a）第 3 帧

fps=32

Normal

Current_number=2

dkm2

（b）第 2 220 帧

fps=55

fps=32

Block=3

Current_number=3

dkm30

（b）第 49 帧

fps=34

Normal

Current_number=2

dkm2

fps=26

Block=3

Current_number=3

dkm30

dkm27

dkm26

dkm27

dkm26

dkm1

（c）第 2 426 帧

（c）第 81 帧（d）第 95 帧

（d）第 2 812 帧

图 12 煤块堵塞

Fig. 12 Coal block blockage

图 10 煤块正常跟踪

Fig. 10 Coal block normal tracking

为3，2，3，3，表明可以准确显示当前帧的煤块数量。

在第2

220帧中编号为26、27的煤块边界框为红色，

Stop=2，表明煤块为滞留状态，滞留数量为2。在

第2

426帧、第2

812帧中，编号为26、27、30的煤块

边界框为红色，Block=3，表明煤块为堵塞状态，堵塞

数量为3。

从图10可看出：Current_number显示第3帧、

第49帧、第81帧、第95帧的煤块数量分别为1，2，

2，2，表明可以准确显示当前帧的煤块数量，煤块为

正常追踪状态，边界框为蓝色。在第3帧、第49帧、

第81帧、第95帧中有标签dkm1，表明可以准确追

踪编号为1的煤块。在第49帧、第81帧、第95帧

中有dkm2，表明可以准确追踪编号为2的煤块。

从图11可看出：Current_number显示第136帧、

第238帧、第286帧、第407帧的煤块数量均为1，表

明可以准确显示当前帧的煤块数量。在第286帧、

第407帧中，编号为2的煤块边界框变成红色，

Stop=1，表明煤块为滞留状态，滞留数量为1。

从图12可看出：Current_number显示第2

156帧、

第2

220帧、第2

426帧、第2

812帧的煤块数量分别

4　结论

（1）基于目标检测、多目标跟踪技术，提出了

一种基于改进YOLOv5s+DeepSORT的煤块行为异

常识别方法，利用改进YOLOv5s模型对煤块进行检

测，利用DeepSORT算法对煤块进行目标跟踪，设置

距离、数量阈值，实现煤块行为异常识别。

（2）用MobileNetV3替换YOLOv5s主干网络，

将YOLOv5s中原有的特征金字塔网络改进为

•

工矿自动化第 48 卷

GUAN Hao，XUE Xiangyang，AN Zhiyong. Advances

on application of deep learning for video object

tracking[J]. Acta Automatica Sinica，2016，42（6）：

834-847.

罗海波，许凌云，惠斌，等. 基于深度学习的目标跟踪

方法研究现状与展望[J]. 红外与激光工程，2017，

46（5）：14-20.

LUO Haibo，XU Lingyun，HUI Bin，et al. Status and

prospect of target tracking based on deep learning[J].

Infrared and Laser Engineering，2017，46（5）：14-20.

南柄飞，郭志杰，王凯，等. 基于视觉显著性的煤矿井

下关键目标对象实时感知研究[J/OL]. 煤炭科学技

术：1-11[2022-01-12]. . net/kcms/detail/

NAN Bingfei，GUO Zhijie，WANG Kai，et al. Real-time

method of target ROI in coal mine underground based on

visual saliency [J/OL]. Coal Science and Technology：

1-11[2022-01-12]. /kcms/detail/11.

杜京义，郝乐，王悦阳，等. 一种煤矿井下输煤大块物

检测方法[J]. 工矿自动化，2020，46（5）：63-68.

DU Jingyi，HAO Le，WANG Yueyang，et al. A

detection method for large blocks in underground coal

transportation[J]. Industry and Mine Automation，

2020，46（5）：63-68.

WANG Yujing，WANG Yuanbin，DANG Langfei.

Video detection of foreign objects on the surface of belt

conveyor underground coal mine based on improved

SSD[J]. Journal of Ambient Intelligence and

Humanized Computing，2020，46（7）：1-10.

胡璟皓，高妍，张红娟，等. 基于深度学习的带式输送

机非煤异物识别方法[J]. 工矿自动化，2021，47（6）：

57-62，90.

HU Jinghao，GAO Yan，ZHANG Hongjuan，et al.

Recognition method of non-coal foreign objects of belt

conveyor based on deep learning[J]. Industry and Mine

Automation，2021，47（6）：57-62，90.

叶鸥，窦晓熠，付燕，等. 融合轻量级网络和双重注意

力机制的煤块检测方法[J]. 工矿自动化，2021，

47（12）：75-80.

YE Ou，DOU Xiaoyi，FU Yan，et al. Coal block

detection method integrating lightweight network and

dual attention mechanism[J]. Industry and Mine

Automation，2021，47（12）：75-80.

张伟，庄幸涛，王雪力，等. DS−YOLO：一种部署在无

人机终端上的小目标实时检测算法[J]. 南京邮电大学

学报（自然科学版），2021，41（1）：86-98.

ZHANG Wei，ZHUANG Xingtao，WANG Xueli，et al.

DS-YOLO：a real-time small object detection algorithm

on UAVs[J]. Journal of Nanjing University of Posts and

Telecommunications （Natural Science Edition），2021，

41（1）：86-98.

。实验结果表明：改进YOLOv5s模型相比AF−FPN

原网络平均检测精度提高了1.45%，参数量下降了

35.3%，推理加速了12.7%，平均漏检率降低了

11.08%，平均误检率降低了11.54%。改进后的网络

提高了煤块检测精度，参数量大幅降低，实时检测性

能好，可移植性高。

（3）结合MobileNetV3_YOLOv5s_AF−FPN与

DeepSORT模型，设置距离阈值、数量阈值，进行

煤块行为异常识别。实验结果表明：MobileNetV3_

YOLOv5s_AF−FPN+DeepSORT模型对煤块正常状

态、滞留、堵塞的跟踪精度为80.1%，煤块行为判断

准确。

参考文献（References）：

[

]

[

]

[

]王国法，赵国瑞，任怀伟. 智慧煤矿与智能化开采关键

核心技术分析[J]. 煤炭学报，2019，44（1）：34-41.

WANG Guofa，ZHAO Guorui，REN Huaiwei. Analysis

on key technologies of intelligent coal mine and

intelligent mining[J]. Journal of China Coal Society，

2019，44（1）：34-41.

[

]

[10]

王国法，徐亚军，张金虎，等. 煤矿智能化开采新进展

[J]. 煤炭科学技术，2021，49（1）：1-10.

WANG Guofa，XU Yajun，ZHANG Jinhu，et al. New

development of intelligent mining in coal mines[J].

Coal Science and Technology，2021，49（1）：1-10.

[

]

[11]

张渤，谢金辰，张后斌. 矿井下输送带大块物体检测[J].

煤炭技术，2021，40（4）：154-156.

ZHANG Bo，XIE Jinchen，ZHANG Houbin. Detection

of large objects in transportation belt under mine[J].

Coal Technology，2021，40（4）：154-156.

[

]

[12]

许军，吕俊杰，杨娟利，等. 基于图像处理的溜槽堆煤

预警研究[J]. 煤炭技术，2017，36（12）：232-234.

XU Jun，LYU Junjie，YANG Juanli，et al. Research on

early warning of coal chute blocking based on

image processing[J]. Coal Technology，2017，36（12）：

232-234.

[

]

[13]

张立亚. 矿山智能视频分析与预警系统研究[J]. 工矿

自动化，2017，43（11）：16-20.

ZHANG Liya. Research on intelligent video analysis and

early warning system for mine[J]. Industry and Mine

Automation，2017，43（11）：16-20.

[

]吴帅，徐勇，赵东宁. 基于深度卷积网络的目标检测综

[14]

述[J]. 模式识别与人工智能，2018，31（4）：335-346.

WU Shuai，XU Yong，ZHAO Dongning. Survey of

object detection based on deep convolutional

networks[J]. Pattern Recognition and Artificial

Intelligence，2018，31（4）：335-346.

[

]管皓，薛向阳，安志勇. 深度学习在视频目标跟踪中

的应用进展与展望[J]. 自动化学报，2016，42（6）：

834-847.

（下转第117页）

2022 年第 6 期

杨旭等：多个采煤工作面风量按需动态联动调控系统

•

117

•

Coal Society，2020，45（6）：2236-2247.

[

]张庆华，姚亚虎，赵吉玉. 我国矿井通风技术现状及

智能化发展展望[J]. 煤炭科学技术，2020，48（2）：

97-103.

ZHANG Qinghua，YAO Yahu，ZHAO Jiyu. Status of

mine ventilation technology in China and prospects for

intelligent

[

]

development[J]. Coal Science and

Technology，2020，48（2）：97-103.

周福宝，魏连江，夏同强，等. 矿井智能通风原理、

关键技术及其初步实现[J]. 煤炭学报，2020，45（6）：

2225-2235.

ZHOU Fubao，WEI Lianjiang，XIA Tongqiang，et al.

Principle，key technology and preliminary realization of

mine intelligent ventilation[J]. Journal of China Coal

Society，2020，45（6）：2225-2235.

杨杰，赵连刚，全芳. 煤矿通风系统现状及智能通风系

统设计[J]. 工矿自动化，2015，41（11）：74-77.

YANG Jie，ZHAO Liangang，QUAN Fang. Current

situation of coal mine ventilation system and design of

intelligent ventilation system[J]. Industry and Mine

Automation，2015，41（11）：74-77.

魏引尚，贾玉泉，王奕博，等. 矿井通风系统分级控制

研究[J]. 工矿自动化，2018，44（12）：30-33.

WEI Yinshang，JIA Yuquan，WANG Yibo，et al.

Research on grading control of mine ventilation

system[J]. Industry and Mine Automation，2018，

44（12）：30-33.

王凯，郝海清，蒋曙光，等. 矿井火灾风烟流区域联动

与智能调控系统研究[J]. 工矿自动化，2019，45（7）：

21-27.

[11]

[12]

[

]

[13]

[

]

[14]

[10]

WANG Kai，HAO Haiqing，JIANG Shuguang，et al.

Research on regional linkage and intelligent control

system of mine fire wind-smoke flow[J]. Industry and

Mine Automation，2019，45（7）：21-27.

裴晓东，王凯，李晓伟，等. 基于元胞自动机的集约化

矿井调风模型分析与仿真[J]. 中国矿业大学学报，

2017，46（4）：755-761.

PEI Xiaodong，WANG Kai，LI Xiaowei，et al. Analysis

and simulaiton of intensive mine air regulation model

based on the cellular automation[J]. Journal of

China University of Mining & Technology，2017，46（4）：

755-761.

黄光球，孙鹏，陆秋琴. 风窗对井下通风系统的影响及

其调节与定位优化[J]. 中国安全生产科学技术，

2014，10（3）：160-167.

HUANG Guangqiu，SUN Peng，LU Qiuqin. Influence of

air windows on underground ventilation system and its

adjusting and locating optimization[J]. Journal of Safety

Science and Technology，2014，10（3）：160-167.

崔传波，蒋曙光，王凯，等. 基于风量可调度的矿井风

量调节[J]. 工矿自动化，2016，42（2）：39-43.

CUI Chuanbo，JIANG Shuguang，WANG Kai，et al.

Adjustment of mine air volume based on air volume

dispatchable model[J]. Industry and Mine Automation，

2016，42（2）：39-43.

李伟. 全断面通道式自动风窗研究与应用[J]. 工矿自

动化，2016，42（12）：15-18.

LI Wei. Research of automatic passageway type air

regulator with full section and its application[J].

Industry and Mine Automation，2016，42（12）：15-18.

（上接第86页）

[15]MITTAL S. A survey on optimized implementation of

[18]

deep learning models on the NVIDIA Jetson

platform[J]. Journal of Systems Architecture，2019，97：

428-442.

[16]WANG Junfan，CHEN Yi，GAO Mingyu，et al.

Improved YOLOv5 network for real-time multi-scale

traffic sign detection[J]. IEEE Sensors Journal，2021，

38（8）：1724-1733.

[17]

[19]

WANG Chenyao，LIAO Hongyuan，WU Yuehua，et al.

[20]

CSPNet：a new backbone that can enhance learning

capability of CNN[C]//Proceedings of the IEEE/CVF

Conference on Computer Vision and Pattern Recognition

Workshops，Seattle，2020：390-391.

HE Kaiming，ZHANG Xingyu，REN Shaoqing，et al.

Spatial pyramid pooling in deep convolutional networks

for visual recognition[J]. IEEE Transactions on

Pattern Analysis and Machine Intelligence，2015，37（9）：

1904-1916.

LIU Shu，QI Lu，QIN Haifang，et al. Path aggregation

network for instance segmentation[C]//Proceedings of

the IEEE Conference on Computer Vision and Pattern

Recognition，2018：8759-8768.

BEWLEY A，GE Z，OTT L，et al. Simple online and

real time tracking[C]//2016 IEEE International

Conference on Image Processing （ICIP ），Phoenix，

2016：3464-3468.