2024年6月6日发(作者：邛高远)

第18卷第3期

2021

年

3

月

铁道科学与工程学报

JournalofRailwayScienceandEngineering

Volume18Number3

March

2021

DOI:10.19713/.43−1423/u.T20200388

基于图像增强与深度学习的

钢轨表面缺陷检测

罗晖，徐广隆

(华东交通大学信息工程学院，江西南昌330013)

摘要：相比传统的物理检测算法，基于机器视觉的检测算法具有检测速度快、操作便捷等诸多优点，但因受光照不均、相

机失焦抖动、雨雪天气等外界因素的影响，导致检测精度降低。针对这一问题，提出一种基于图像增强与深度学习的钢轨表

面缺陷视觉检测算法。首先，对图像进行

Gabor

滤波去噪，以减少噪声对缺陷检测的影响；然后，利用

HSV

空间变换方法

增强缺陷图像的关键特征信息；最后，通过改进

FasterR-CNN

卷积神经网络，实现了多尺度钢轨表面缺陷的检测与识别。

通过对所提出的检测算法进行对比实验，实验结果表明：裂纹、剥落、磨损三类缺陷的识别精度分别为

91.87%

，

92.75%

和

91.52%

，检测速度为每张图像

0.265s

，优于已有的钢轨表面缺陷检测算法，能够很好地应用于实际项目中。

关键词：钢轨表面缺陷检测；机器视觉；目标检测；图像增强；卷积神经网络

中图分类号：

U216.3

文献标志码：

A

文章编号：

1672−7029(2021)03−0623−07

Railsurfacedefectdetectionbasedonimageenhancementanddeeplearning

LUOHui,XUGuanglong

(SchoolofInformationEngineering,EastChinaJiaotongUniversity,Nanchang330013,China)

Abstract:Comparedwithtraditionalphysicaldetectionmethods,computer-vision-baseddetectionmethodshas

manyadr,duetotheinfluenceof

externalfactorssuchasunevenillumination,out-of-focusofcamerajitter,rainandsnowweather,thedetection

ethisproblem,thispaperpresentsavisualdetectionalgorithmforrailsurface

y,Gaborfilteringwascarriedouttoreducethe

,thekeyfeatureinformationintheimagewasenhancedby

y,FasterR-CNNconvolutionalneuralnetworkwasimprovedtorealizethe

experimentalresultsindicatethattheproposedalgorithmcanachievehighaccuracyofcrack,spallingand

abrasionwith91.87%,92.75%and91.52%,highdetectspeedwith0.265sperimage,substantiallyoutperforming

posedmethodcanbeusedforactualfault

detectionoffreighttrainimages.

Keywords:railsurfacedefectdetection;computervision;objectdetection;imageenhancement;convolutional

neuralnetwork

收稿日期：2020−05−10

基金项目：国家自然科学基金资助项目(61261040)

通信作者：罗晖(1969−)，男，江西南昌人，教授，从事物联网、图像信号处理相关研究；E−mail：*********************

624

铁道科学与工程学报2021年3月

随着铁路运输事业的不断发展，铁路运量不断

增加，这对铁路安全运行提出了更高的要求。相关

安全统计数据显示，引起列车事故的钢轨缺陷主要

为轨头表面缺陷，约占所有事故原因的42.5%。因

此，为保障列车的行车安全，对钢轨表面缺陷进行

准确、动态的检测已成为铁路发展迫切需要解决的

问题，并具有重要的实际应用价值及研究意义。目

前，铁路相关部门主要采用物理性的检测方法对钢

轨缺陷进行检测，检测方法包括：超声波检测、超

声导波检测、涡流检测、漏磁检测等

[1]

。超声波检

测和超声导波检测，需要使用耦合剂，且都存在检

测盲区的问题；涡流检测，在检测平行于磁通线的

裂纹时，会发生提离效应，造成漏检；漏磁检测，

是基于电磁原理的一种非接触式检测方法，可用于

检测钢轨表面近表面缺陷，但是检测速度比较慢。

采用机器视觉的方法对钢轨表面缺陷进行检测，是

一种非接触式的检测方式，而且能够在高达320

km/h行车速度条件下，保持较高的检测精度。

Deutschl等

[2]

给出了基于机器视觉的钢轨表面缺陷

实时检测方案；LI等

[3−4]

对轨头表面缺陷进行深入

研究，进一步完善了基于机器视觉的钢轨表面缺陷

实时检测方案；Kumar等

[5−7]

对钢轨缺陷图像特征

进行分析，通过图像滤波的方式去除干扰因素，提

高了表面缺陷的检测效果；孙次锁等

[8]

采用卷积神

经网络对图像特征进行深度提取，进一步提高了表

面缺陷的检测效果。虽然机器视觉的方法，极大地

提高了检测精度和检测效率，但是还存在如下

问题：

1)季节因素和光照条件变化，增加了缺陷检测

的难度。

2)钢轨表面状况不同，容易产生局部高光，增

加了特征提取的难度。

3)钢轨表面缺陷的特征中，可用于检测识别的

信息较少，传统的基于边缘和纹理的检测方法效率

不高。

针对以上问题，本文从基于Gabor滤波的去噪

算法、基于HSV空间变化的图像特征增强算法、

基于FasterR-CNN的缺陷多尺度检测网络设计3个

方面进行设计与改进，提高了钢轨表面缺陷中，裂

纹、剥落、磨损3种缺陷的检测精度，并保证了检

测的速度。

1

基于

Gabor

滤波的图像去噪算法

采集获得的钢轨表面图像，包括轨板、扣件、

周围环境杂物等，需要通过已有的图像分割算法进

行钢轨轨面图像进行分割提取

[9]

。至此，便可以获

取到初步的钢轨轨面图像。如图1(左)所示，为采集

到的裂纹、剥落、磨损3种缺陷的样本图像。

图1钢轨表面缺陷图像样本(去噪前后)

Fig.1Imagesampleofrailsurfacedefect(beforeandafterfiltering)

从图1可以非常直观的看到，图像中存在诸多

噪声信号，这给缺陷的检测增加了难度。

为了进一步提高钢轨表面缺陷的识别准确度，

需要对图像进行去噪处理。Gabor小波与人类视觉

系统中简单细胞的视觉刺激响应非常相似。它在提

取目标的局部空间和频率域信息方面具有良好的

特性。Gabor滤波器对于图像的边缘敏感，能够提

供良好的方向选择和尺度选择特性，而且对于光照

第3期罗晖，等：基于图像增强与深度学习的钢轨表面缺陷检测

625

变化不敏感,能够提供对光照变化良好的适应性，非

常适合于对钢轨缺陷图像进行去噪

[10]

。式(1)为

Gabor滤波器的数学表达式：

2

2

F

Gabor

c

,

d

(

p

)



S

c

,

d

exp





S

2

c

,

d

p





2





2



2

















exp(

ipS

)



exp



(1)









2





c

,

d



2











式中：

p(x,y)

为原图像f中的像素点；c和d表示

尺度和方向个数；



2

为欧式二范数；θ为空间频率

值；S

c,d

为高斯窗口的调节变量。

将

F

Gabor

c

,

d

(

p

)

与原图像f进行卷积运算之后，

方可达到图像去噪的目的，如式(2)：

f



F

Gabor

c

,

d

(

p

)*

f

(2)

经过去噪处理之后图像，边缘更加显著。其中，

表面剥落图像中的黑斑经由滤波之后，会有一定程

度的缩小，可以通过式(1)中的S

c,d

系数，即高斯窗

口的调节变量进行调节，并保证缺陷的检测精度。

2基于HSV空间变化的图像特征增

强算法

HSV是一种直观的颜色模型，十分接近人类的

视觉预期，其中H(Hue)代表色调、S(Saturation)代

表饱和度，V(Value)代表明度，具体模型如图2所

示。其中饱和度S，表示颜色接近光谱色的程度。

一种颜色，可以看成是某种光谱色与白色混合的结

果。其中光谱色所占的比例愈大，颜色接近光谱色

的程度就愈高，颜色的饱和度也就愈高。饱和度高，

颜色则深而艳。光谱色的白光成分为0，饱和度达

到最高。通常取值范围为0%～100%，值越大，颜

色越饱和。

文献[11]中将HSV空间变换用于钢轨图像的快

速提取，受到该文献的启发，并结合滤波后钢轨图

像的视觉特征进行分析，可以发现图像的色彩并不

丰富，滤去色调和明度信息、保留饱和度信息后，

最终得到的图像能够更加方便的提取到钢轨缺陷

的特征，有利于检测速度的提高，转换公式如式(3)、

式(4)所示。保留下S维度的信息之后，最终得到的

钢轨表面图像如图3所示。





I

G



I

B





I

60

o

,(

I

R



I

I



max



I

min

max

)

H









I

B



I

R



o







2



I

(3)

min







60,(

I

G



I

max

)

max



I















4



I

I

B



I

G





I





60

o

,(

I

min



B



I

max

)

max

I

s



I

max



I

I

min

，

I

V

I

max

max

(4)

式中：I

max

和I

min

分别为原图像I(x,y)处RGB色彩的

最大值、最小值。

图2HSV颜色模型

Fig.2HSVcolormodel

图3钢轨表面缺陷图像样本(HSV变换后)

Fig.3ImagesampleofrailsurfacedefectafterHSV

spatialtransformation

626

铁道科学与工程学报2021年3月

3基于FasterR-CNN的缺陷多尺度

检测网络设计

FasterR-CNN

[12]

卷积神经网络，不仅能实现对

[13]

函数中增加了调节系数，如式(5)

inclinesmooth

L

1

(

x

)



2



ifx



1/





0.5



x







Kx



0.5(2

K



1)/



otherwise

(5)

图像中的物体进行分类，而且能识别出物体的位

置。孙次锁等将FasterR-CNN应用于钢轨表面缺

陷的检测，取得了出色的效果。本文基于以上研究，

对FasterRCNN的损失函数和网络结构进行了调

整，用来提取经过处理后的图像中的缺陷特征，实

现了高精度的检测效果。

3.1基于图像边缘锐化特征的回归损失函数改进

FasterR-CNN中使用的smooth

L1

(x)作为回归损

失函数L

reg

。本文针对图像边缘锐化特征，在损失

其中，其他参数均与原文献保持一致，K为新

增的用来调节图像边缘锐化的超参数。

3.2基于空洞卷积的缺陷特征提取卷积网络设计

钢轨表面缺陷复杂多样，单一的卷积模式无法

根据缺陷的类别做精细的感受野划分，这是Faster

R-CNN无法很好的适用于钢轨表面缺陷检测的一

个方面，针对这一问题，本文引入空洞卷积，为裂

纹、剥落、磨损3类缺陷设定并行卷积通道，分别

设定不同的膨胀系数，来实现更加细粒度的特征提

取。其感受野变化效果如图4所示。

图4

Fig.4

基于空洞卷积的缺陷特征提取卷积网络

Defectfeatureextractionconvolutionalnetworkbasedondilatedconvolution

此外，本文将原有的卷积神经网络进行了多分

支重构，实现了多尺度的缺陷检测，提高了检测精

度，总体结构如图5所示。

后将目前主流的多种基于深度学习的目标检测算

法与本文提出的算法进行检测精度和检测精度的

对比分析。实验环境为：64位Windows8系统，内

存32G，CPU型号为i7-7800X，配备有RTX2080-8G

显卡。采用EarlyStopping和Dropout方法防止过

拟和。

4实验与分析

为了验证本文检测算法的有效性，本文首先确

立了用于训练与检测的数据集和性能评价指标；然

第3期罗晖，等：基于图像增强与深度学习的钢轨表面缺陷检测

627

图

5

Fig.5

调整后的多尺度

FasterR-CNN

网络结构

Multi-scaleFasterR-CNNnetworkstructureafteradjusting

4.1数据集与评价指标

为了验证本文检测算法的有效性，实验过程中

样本与非目标样本的比例)，见式(6)。

A

c



TP



FNTP

，

TPR



，

TP



FN



FP



TNTP



FN

FPR



FP

FP



TN

采用具有代表性的钢轨数据集RSDDs

[14]

进行训练、

验证和测试。由于数据集中包含Type-I和Type-II

2种尺度数据图像，并且数据的标注为缺陷分割标

注，本文将其进行裁剪，并调整为200*300尺度的

图像，共5000张，然后通过平移、缩放以及生成

对抗网络(GAN，GenerativeAdversarialNetworks)

[15]

等方式进行数据集扩充，合计10000张，并按照

PASCALVOC

[16]

数据集的格式进行了标注。随机选

取80%作为训练集，剩余20%作为测试集进行网络

训练，一共进行70000次迭代训练，每次使用一张

图片进行迭代，初始学习率设置为0.001，当迭代

至20000次时，将学习率衰减为0.0001，然后继

续迭代训练到70000次为止。

检测指标包括准确率(Ac，表示算法能正确识

别样本的比例)、灵敏度(truepositiverate，TPR，表

示表示算法正确识别目标样本的识别精度)、误识别

率(falsepositiverate，FPR，表示算法错误识别目标

(6)

式中：TP为正类判定为正类；FP为负类判定为正

类；FN为正类判定为负类；TN为负类判定为负类。

4.2算法性能分析

REN等

[12]

提出了FasterR-CNN，在保证检测

精度的前提下，极大地提高了检测的速度；DAI

等

[17]

基于FasterR-CNN框架提出的R-FCN，减少

检测模型的计算量；LIN等

[18]

基于FasterR-CNN框

架提出的FPN，提高了小尺度目标检测精度。

Redmon等

[19]

采用不同尺度特征融合的方法，一定

程度上提高了小目标的检测精度，但识别精确度缺

仍然较低。

本文在多个目标检测算法(FasterR-CNN，

R-FCN，FPN，YOLOv3)和基础网络(VGG16，

ResNet101)之上，进行了神经网络训练测试实验，

628

铁道科学与工程学报2021年3月

经过网络的训练调优，网络完成收敛后(如图6右图

所示)，然后根据评价指标，对数据结果进行了统计，

详细结果见表1。

表1中的数据表明，本文提出的检测算法，对

于裂纹、剥落、磨损3种缺陷均达到了相对最高的

Ac值。尽管在TPR，FPR指标方面，本文提出的

检测的算法并未达到多种检测算法中的最佳，但是

已与最佳检测算法的检测精度十分接近。

最终，将检测结果映射回原图像，效果如图6

左图所示。

表1表面缺陷检测效果

Table1Surfacedefectdetectioneffect

检测算法

Faster-

RCNN

R-FCN

FPN

YOLOv3

本文

基础网络

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

裂纹

Ac/%

87.15

88.81

69.26

74.11

91.84

91.85

62.18

63.43

91.87

TPR/%

94.45

95.31

80.03

81.21

94.62

94.78

70.26

72.17

94.82

FPR/%

4,31

2.76

12.04

11.77

1.53

1.24

15.32

14.89

1.31

Ac/%

87.83

88.79

70.14

73.57

92.35

92.63

63.14

65.22

92.75

剥落

TPR/%

94.83

95.94

79.34

80.16

95.31

95.02

71.72

73.04

95.23

FPR/%

3,53

3.76

12.82

12.15

1.47

1.21

19.24

18.79

1.43

Ac/%

91.28

91.33

74.78

74.93

90.84

91.49

74.74

78.13

91.52

磨损

TPR/%

95.93

94.08

78.33

78.49

94.26

95.02

82.45

83.07

95.06

FPR/%

2.79

1.57

9.42

9.51

1.42

1.72

14.97

15.25

1.73

图6钢轨表面缺陷检测效果(左)和损失函数值数变化趋势(右)

Fig.6DetectioneffectofrailsurfacedefectandTrendgraphofthenumberofvaluesofthelossfunction

表2钢轨表面缺陷检测速度比较

Table2Testingspeedoffaultdetectionforrailsurface

defectimage

检测算法

Faster-RCNN

R-FCN

FPN

YOLOv3

本文

基础网络

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

检测速度/s

0.235

0.244

0.243

0.260

0.270

0.279

0.187

0.178

0.265

4.3算法检测速度比较

表2列出了表1中各个检测算法的检测速度。

对于一张尺度为200*300像素的钢轨图像，本文提

出的检测速度为0.265s。表2中，YOLO系列算法

的检测速度较快，然而对比表1中的数据可知，其

检测精度太低。本文提出的检测算法在保证高检测

精度的同时保证了检测速度。

5结论

1)经由Gabor滤波去噪之后，缺陷特性更加显

著，从一定程度上克服了图像采集过程中，外界因

第3期罗晖，等：基于图像增强与深度学习的钢轨表面缺陷检测

629

素的干扰。

2)钢轨表面图像的色彩信息比较单一，通过

HSV色彩空间的像素转化，可以提取出图像的饱和

度信息，进而有效的表征出钢轨的缺陷位置，有利

提升检测时的缺陷召回率。

3)基于FasterR-CNN卷积神经网络模型，调

整网络层数、卷积尺度、损失函数等，设计针对钢

轨表面缺陷特征进行提取的专有检测结构，实现了

对钢轨表面缺陷的高效准确检测，其中裂纹、剥落

和磨损3种缺陷的识别精度分别达到91.87%，

92.75%和91.52%。

参考文献：

[1]田贵云,高斌,高运来,等.铁路钢轨缺陷伤损巡检与

监测技术综述

[J].

仪器仪表学报

,2016,37(8):1763−

1780.

TIANGuiyun,GAOBin,GAOYunlai,of

railwayraildefectnon-destructivetestingandmonitoring

[J].ChineseJournalofScientificInstrument,2016,37(8):

1763−1780.

[2]DeutschlE,GasserC,NielA,detectionon

railsurfacesbyavisionbasedsystem[C]//IEEE

IntelligentVehiclesSymposium,14-17,2004,

Parma,,2004:507−511.

[3]LIQingyong,ldetectionsystem

forrailsurfacedefects[J].IEEETransactionsonSystems,

Man,andCybernetics,PartC(ApplicationsandReviews),

2012,42(6):1531−1542.

[4]LIQingyong,-timevisual

inspectionsystemfordiscretesurfacedefectsofrail

heads[J].IEEETransactionsonInstrumentationand

Measurement,2012,61(8):2189−2199.

[5]KumarA,detectionintextured

materialsusingGaborfilters[J].IEEETransactionson

IndustryApplications,2002,38(2):425−440.

[6]MandriotaC,NittiM,AnconaN,-based

featureselectionforraildefectdetection[J].Machine

VisionandApplications,2004,15(4):179−185.

[7]

王耀东

,

朱力强

,

史红梅

,

等

.

基于局部图像纹理计算

的隧道裂缝视觉检测技术[J].铁道学报,2018,40(2):

82−90.

WANGYaodong,ZHULiqiang,SHIHongmei,etal.

Visiondetectionoftunnelcracksbasedonlocalimage

texturecalculation[J].JournaloftheChinaRailway

Society,2018,40(2):82−90.

[8]孙次锁,刘军,秦勇,等.基于深度学习的钢轨伤损智

能识别方法[J].中国铁道科学,2018,39(5):51−57.

SUNCisuo,LIUJun,QINYong,igent

detectionmethodforrailflawbasedondeeplearning[J].

ChinaRailwayScience,2018,39(5):51−57.

[9]VasukiY,HoldenEJ,KovesiP,-automatic

mappingofgeologicalstructuresusingUAV-based

photogrammetricdata:animageanalysisapproach[J].

Computers&Geosciences,2014,69:22−32.

[10]SHIYan,YANGXiaoyuan,ation

invariantdirectionalframelettransformcombinedwith

Gaborfiltersforimagedenoising[J].IEEETransactions

onImageProcessing,2014,23(1):44−55.

[11]

顾桂梅

,

李晓梅

,

常海涛

,

等

.

基于

HSV

空间的钢轨表

面区域快速提取算法[J].云南大学学报(自然科学版),

2019,41(4):707−717.

GUGuimei,LIXiaomei,CHANGHaitao,

extractionagorithmforrailsurfaceregionbasedonHSV

space[J].JournalofYunnanUniversity(NaturalSciences

Edition),2019,41(4):707−717.

[12]RENShaoqing,HEKaiming,GirshickR,

R-CNN:towardsreal-timeobjectdetectionwithregion

proposalnetworks[J].IEEETransactionsonPattern

AnalysisandMachineIntelligence,2017,39(6):1137−

1149.

[13]

孙次锁

,

张玉华

.

基于智能识别与周期检测的钢轨伤

损自动预警方法研究[J].铁道学报,2018,40(11):140−

146.

SUNCisuo,chonautomaticearly

warningmethodforrailflawbasedonintelligent

identificationandperiodicdetection[J].Journalofthe

ChinaRailwaySociety,2018,40(11):140−146.

[14]GANJinrui,LIQingyong,WANGJianzhu,etal.A

hierarchicalextractor-basedvisualrailsurfaceinspection

system[J].IEEESensorsJournal,2017,17(23):7935−

7944.

[15]GoodfellowIJ,Pouget-AbadieJ,MirzaM,etal.

Generativeadversarialnets[C]//NIPS’14:Proceedingsof

the27thInternationalConferenceonNeuralInformation

ProcessingSystems–2014,2:2672−2680.

[16]EveringhamM,EslamiSMA,GoolL,cal

visualobjectclasseschallenge:Aretrospective[J].

InternationalJournalofComputerVision,2015,111(1):

98−136.

[17]DAIJifeng,LIYi,HEKaiming,etal.R-FCN:object

detectionviaregion-basedfullyconvolutionalnetworks

[C]//NIPS’16:Proceedingsofthe30thInternational

ConferenceonNeuralInformationProcessingSystems.

2016:379−387.

[18]LINTY,DollárP,GirshickR,epyramid

networksforobjectdetection[C]//2017IEEEConference

onComputerVisionandPatternRecognition(CVPR).

July21-26,2017,Honolulu,HI,,2017:936−

944.

[19]RedmonJ,3:Anincremental

improvement[C]//uterVision

andPatternRecognition(CVPR),2018:2767−2773.

(编辑涂鹏)

2024年6月6日发(作者：邛高远)

第18卷第3期

2021

年

3

月

铁道科学与工程学报

JournalofRailwayScienceandEngineering

Volume18Number3

March

2021

DOI:10.19713/.43−1423/u.T20200388

基于图像增强与深度学习的

钢轨表面缺陷检测

罗晖，徐广隆

(华东交通大学信息工程学院，江西南昌330013)

摘要：相比传统的物理检测算法，基于机器视觉的检测算法具有检测速度快、操作便捷等诸多优点，但因受光照不均、相

机失焦抖动、雨雪天气等外界因素的影响，导致检测精度降低。针对这一问题，提出一种基于图像增强与深度学习的钢轨表

面缺陷视觉检测算法。首先，对图像进行

Gabor

滤波去噪，以减少噪声对缺陷检测的影响；然后，利用

HSV

空间变换方法

增强缺陷图像的关键特征信息；最后，通过改进

FasterR-CNN

卷积神经网络，实现了多尺度钢轨表面缺陷的检测与识别。

通过对所提出的检测算法进行对比实验，实验结果表明：裂纹、剥落、磨损三类缺陷的识别精度分别为

91.87%

，

92.75%

和

91.52%

，检测速度为每张图像

0.265s

，优于已有的钢轨表面缺陷检测算法，能够很好地应用于实际项目中。

关键词：钢轨表面缺陷检测；机器视觉；目标检测；图像增强；卷积神经网络

中图分类号：

U216.3

文献标志码：

A

文章编号：

1672−7029(2021)03−0623−07

Railsurfacedefectdetectionbasedonimageenhancementanddeeplearning

LUOHui,XUGuanglong

(SchoolofInformationEngineering,EastChinaJiaotongUniversity,Nanchang330013,China)

Abstract:Comparedwithtraditionalphysicaldetectionmethods,computer-vision-baseddetectionmethodshas

manyadr,duetotheinfluenceof

externalfactorssuchasunevenillumination,out-of-focusofcamerajitter,rainandsnowweather,thedetection

ethisproblem,thispaperpresentsavisualdetectionalgorithmforrailsurface

y,Gaborfilteringwascarriedouttoreducethe

,thekeyfeatureinformationintheimagewasenhancedby

y,FasterR-CNNconvolutionalneuralnetworkwasimprovedtorealizethe

experimentalresultsindicatethattheproposedalgorithmcanachievehighaccuracyofcrack,spallingand

abrasionwith91.87%,92.75%and91.52%,highdetectspeedwith0.265sperimage,substantiallyoutperforming

posedmethodcanbeusedforactualfault

detectionoffreighttrainimages.

Keywords:railsurfacedefectdetection;computervision;objectdetection;imageenhancement;convolutional

neuralnetwork

收稿日期：2020−05−10

基金项目：国家自然科学基金资助项目(61261040)

通信作者：罗晖(1969−)，男，江西南昌人，教授，从事物联网、图像信号处理相关研究；E−mail：*********************

624

铁道科学与工程学报2021年3月

随着铁路运输事业的不断发展，铁路运量不断

增加，这对铁路安全运行提出了更高的要求。相关

安全统计数据显示，引起列车事故的钢轨缺陷主要

为轨头表面缺陷，约占所有事故原因的42.5%。因

此，为保障列车的行车安全，对钢轨表面缺陷进行

准确、动态的检测已成为铁路发展迫切需要解决的

问题，并具有重要的实际应用价值及研究意义。目

前，铁路相关部门主要采用物理性的检测方法对钢

轨缺陷进行检测，检测方法包括：超声波检测、超

声导波检测、涡流检测、漏磁检测等

[1]

。超声波检

测和超声导波检测，需要使用耦合剂，且都存在检

测盲区的问题；涡流检测，在检测平行于磁通线的

裂纹时，会发生提离效应，造成漏检；漏磁检测，

是基于电磁原理的一种非接触式检测方法，可用于

检测钢轨表面近表面缺陷，但是检测速度比较慢。

采用机器视觉的方法对钢轨表面缺陷进行检测，是

一种非接触式的检测方式，而且能够在高达320

km/h行车速度条件下，保持较高的检测精度。

Deutschl等

[2]

给出了基于机器视觉的钢轨表面缺陷

实时检测方案；LI等

[3−4]

对轨头表面缺陷进行深入

研究，进一步完善了基于机器视觉的钢轨表面缺陷

实时检测方案；Kumar等

[5−7]

对钢轨缺陷图像特征

进行分析，通过图像滤波的方式去除干扰因素，提

高了表面缺陷的检测效果；孙次锁等

[8]

采用卷积神

经网络对图像特征进行深度提取，进一步提高了表

面缺陷的检测效果。虽然机器视觉的方法，极大地

提高了检测精度和检测效率，但是还存在如下

问题：

1)季节因素和光照条件变化，增加了缺陷检测

的难度。

2)钢轨表面状况不同，容易产生局部高光，增

加了特征提取的难度。

3)钢轨表面缺陷的特征中，可用于检测识别的

信息较少，传统的基于边缘和纹理的检测方法效率

不高。

针对以上问题，本文从基于Gabor滤波的去噪

算法、基于HSV空间变化的图像特征增强算法、

基于FasterR-CNN的缺陷多尺度检测网络设计3个

方面进行设计与改进，提高了钢轨表面缺陷中，裂

纹、剥落、磨损3种缺陷的检测精度，并保证了检

测的速度。

1

基于

Gabor

滤波的图像去噪算法

采集获得的钢轨表面图像，包括轨板、扣件、

周围环境杂物等，需要通过已有的图像分割算法进

行钢轨轨面图像进行分割提取

[9]

。至此，便可以获

取到初步的钢轨轨面图像。如图1(左)所示，为采集

到的裂纹、剥落、磨损3种缺陷的样本图像。

图1钢轨表面缺陷图像样本(去噪前后)

Fig.1Imagesampleofrailsurfacedefect(beforeandafterfiltering)

从图1可以非常直观的看到，图像中存在诸多

噪声信号，这给缺陷的检测增加了难度。

为了进一步提高钢轨表面缺陷的识别准确度，

需要对图像进行去噪处理。Gabor小波与人类视觉

系统中简单细胞的视觉刺激响应非常相似。它在提

取目标的局部空间和频率域信息方面具有良好的

特性。Gabor滤波器对于图像的边缘敏感，能够提

供良好的方向选择和尺度选择特性，而且对于光照

第3期罗晖，等：基于图像增强与深度学习的钢轨表面缺陷检测

625

变化不敏感,能够提供对光照变化良好的适应性，非

常适合于对钢轨缺陷图像进行去噪

[10]

。式(1)为

Gabor滤波器的数学表达式：

2

2

F

Gabor

c

,

d

(

p

)



S

c

,

d

exp





S

2

c

,

d

p





2





2



2

















exp(

ipS

)



exp



(1)









2





c

,

d



2











式中：

p(x,y)

为原图像f中的像素点；c和d表示

尺度和方向个数；



2

为欧式二范数；θ为空间频率

值；S

c,d

为高斯窗口的调节变量。

将

F

Gabor

c

,

d

(

p

)

与原图像f进行卷积运算之后，

方可达到图像去噪的目的，如式(2)：

f



F

Gabor

c

,

d

(

p

)*

f

(2)

经过去噪处理之后图像，边缘更加显著。其中，

表面剥落图像中的黑斑经由滤波之后，会有一定程

度的缩小，可以通过式(1)中的S

c,d

系数，即高斯窗

口的调节变量进行调节，并保证缺陷的检测精度。

2基于HSV空间变化的图像特征增

强算法

HSV是一种直观的颜色模型，十分接近人类的

视觉预期，其中H(Hue)代表色调、S(Saturation)代

表饱和度，V(Value)代表明度，具体模型如图2所

示。其中饱和度S，表示颜色接近光谱色的程度。

一种颜色，可以看成是某种光谱色与白色混合的结

果。其中光谱色所占的比例愈大，颜色接近光谱色

的程度就愈高，颜色的饱和度也就愈高。饱和度高，

颜色则深而艳。光谱色的白光成分为0，饱和度达

到最高。通常取值范围为0%～100%，值越大，颜

色越饱和。

文献[11]中将HSV空间变换用于钢轨图像的快

速提取，受到该文献的启发，并结合滤波后钢轨图

像的视觉特征进行分析，可以发现图像的色彩并不

丰富，滤去色调和明度信息、保留饱和度信息后，

最终得到的图像能够更加方便的提取到钢轨缺陷

的特征，有利于检测速度的提高，转换公式如式(3)、

式(4)所示。保留下S维度的信息之后，最终得到的

钢轨表面图像如图3所示。





I

G



I

B





I

60

o

,(

I

R



I

I



max



I

min

max

)

H









I

B



I

R



o







2



I

(3)

min







60,(

I

G



I

max

)

max



I















4



I

I

B



I

G





I





60

o

,(

I

min



B



I

max

)

max

I

s



I

max



I

I

min

，

I

V

I

max

max

(4)

式中：I

max

和I

min

分别为原图像I(x,y)处RGB色彩的

最大值、最小值。

图2HSV颜色模型

Fig.2HSVcolormodel

图3钢轨表面缺陷图像样本(HSV变换后)

Fig.3ImagesampleofrailsurfacedefectafterHSV

spatialtransformation

626

铁道科学与工程学报2021年3月

3基于FasterR-CNN的缺陷多尺度

检测网络设计

FasterR-CNN

[12]

卷积神经网络，不仅能实现对

[13]

函数中增加了调节系数，如式(5)

inclinesmooth

L

1

(

x

)



2



ifx



1/





0.5



x







Kx



0.5(2

K



1)/



otherwise

(5)

图像中的物体进行分类，而且能识别出物体的位

置。孙次锁等将FasterR-CNN应用于钢轨表面缺

陷的检测，取得了出色的效果。本文基于以上研究，

对FasterRCNN的损失函数和网络结构进行了调

整，用来提取经过处理后的图像中的缺陷特征，实

现了高精度的检测效果。

3.1基于图像边缘锐化特征的回归损失函数改进

FasterR-CNN中使用的smooth

L1

(x)作为回归损

失函数L

reg

。本文针对图像边缘锐化特征，在损失

其中，其他参数均与原文献保持一致，K为新

增的用来调节图像边缘锐化的超参数。

3.2基于空洞卷积的缺陷特征提取卷积网络设计

钢轨表面缺陷复杂多样，单一的卷积模式无法

根据缺陷的类别做精细的感受野划分，这是Faster

R-CNN无法很好的适用于钢轨表面缺陷检测的一

个方面，针对这一问题，本文引入空洞卷积，为裂

纹、剥落、磨损3类缺陷设定并行卷积通道，分别

设定不同的膨胀系数，来实现更加细粒度的特征提

取。其感受野变化效果如图4所示。

图4

Fig.4

基于空洞卷积的缺陷特征提取卷积网络

Defectfeatureextractionconvolutionalnetworkbasedondilatedconvolution

此外，本文将原有的卷积神经网络进行了多分

支重构，实现了多尺度的缺陷检测，提高了检测精

度，总体结构如图5所示。

后将目前主流的多种基于深度学习的目标检测算

法与本文提出的算法进行检测精度和检测精度的

对比分析。实验环境为：64位Windows8系统，内

存32G，CPU型号为i7-7800X，配备有RTX2080-8G

显卡。采用EarlyStopping和Dropout方法防止过

拟和。

4实验与分析

为了验证本文检测算法的有效性，本文首先确

立了用于训练与检测的数据集和性能评价指标；然

第3期罗晖，等：基于图像增强与深度学习的钢轨表面缺陷检测

627

图

5

Fig.5

调整后的多尺度

FasterR-CNN

网络结构

Multi-scaleFasterR-CNNnetworkstructureafteradjusting

4.1数据集与评价指标

为了验证本文检测算法的有效性，实验过程中

样本与非目标样本的比例)，见式(6)。

A

c



TP



FNTP

，

TPR



，

TP



FN



FP



TNTP



FN

FPR



FP

FP



TN

采用具有代表性的钢轨数据集RSDDs

[14]

进行训练、

验证和测试。由于数据集中包含Type-I和Type-II

2种尺度数据图像，并且数据的标注为缺陷分割标

注，本文将其进行裁剪，并调整为200*300尺度的

图像，共5000张，然后通过平移、缩放以及生成

对抗网络(GAN，GenerativeAdversarialNetworks)

[15]

等方式进行数据集扩充，合计10000张，并按照

PASCALVOC

[16]

数据集的格式进行了标注。随机选

取80%作为训练集，剩余20%作为测试集进行网络

训练，一共进行70000次迭代训练，每次使用一张

图片进行迭代，初始学习率设置为0.001，当迭代

至20000次时，将学习率衰减为0.0001，然后继

续迭代训练到70000次为止。

检测指标包括准确率(Ac，表示算法能正确识

别样本的比例)、灵敏度(truepositiverate，TPR，表

示表示算法正确识别目标样本的识别精度)、误识别

率(falsepositiverate，FPR，表示算法错误识别目标

(6)

式中：TP为正类判定为正类；FP为负类判定为正

类；FN为正类判定为负类；TN为负类判定为负类。

4.2算法性能分析

REN等

[12]

提出了FasterR-CNN，在保证检测

精度的前提下，极大地提高了检测的速度；DAI

等

[17]

基于FasterR-CNN框架提出的R-FCN，减少

检测模型的计算量；LIN等

[18]

基于FasterR-CNN框

架提出的FPN，提高了小尺度目标检测精度。

Redmon等

[19]

采用不同尺度特征融合的方法，一定

程度上提高了小目标的检测精度，但识别精确度缺

仍然较低。

本文在多个目标检测算法(FasterR-CNN，

R-FCN，FPN，YOLOv3)和基础网络(VGG16，

ResNet101)之上，进行了神经网络训练测试实验，

628

铁道科学与工程学报2021年3月

经过网络的训练调优，网络完成收敛后(如图6右图

所示)，然后根据评价指标，对数据结果进行了统计，

详细结果见表1。

表1中的数据表明，本文提出的检测算法，对

于裂纹、剥落、磨损3种缺陷均达到了相对最高的

Ac值。尽管在TPR，FPR指标方面，本文提出的

检测的算法并未达到多种检测算法中的最佳，但是

已与最佳检测算法的检测精度十分接近。

最终，将检测结果映射回原图像，效果如图6

左图所示。

表1表面缺陷检测效果

Table1Surfacedefectdetectioneffect

检测算法

Faster-

RCNN

R-FCN

FPN

YOLOv3

本文

基础网络

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

裂纹

Ac/%

87.15

88.81

69.26

74.11

91.84

91.85

62.18

63.43

91.87

TPR/%

94.45

95.31

80.03

81.21

94.62

94.78

70.26

72.17

94.82

FPR/%

4,31

2.76

12.04

11.77

1.53

1.24

15.32

14.89

1.31

Ac/%

87.83

88.79

70.14

73.57

92.35

92.63

63.14

65.22

92.75

剥落

TPR/%

94.83

95.94

79.34

80.16

95.31

95.02

71.72

73.04

95.23

FPR/%

3,53

3.76

12.82

12.15

1.47

1.21

19.24

18.79

1.43

Ac/%

91.28

91.33

74.78

74.93

90.84

91.49

74.74

78.13

91.52

磨损

TPR/%

95.93

94.08

78.33

78.49

94.26

95.02

82.45

83.07

95.06

FPR/%

2.79

1.57

9.42

9.51

1.42

1.72

14.97

15.25

1.73

图6钢轨表面缺陷检测效果(左)和损失函数值数变化趋势(右)

Fig.6DetectioneffectofrailsurfacedefectandTrendgraphofthenumberofvaluesofthelossfunction

表2钢轨表面缺陷检测速度比较

Table2Testingspeedoffaultdetectionforrailsurface

defectimage

检测算法

Faster-RCNN

R-FCN

FPN

YOLOv3

本文

基础网络

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

ResNet101

VGG16

检测速度/s

0.235

0.244

0.243

0.260

0.270

0.279

0.187

0.178

0.265

4.3算法检测速度比较

表2列出了表1中各个检测算法的检测速度。

对于一张尺度为200*300像素的钢轨图像，本文提

出的检测速度为0.265s。表2中，YOLO系列算法

的检测速度较快，然而对比表1中的数据可知，其

检测精度太低。本文提出的检测算法在保证高检测

精度的同时保证了检测速度。

5结论

1)经由Gabor滤波去噪之后，缺陷特性更加显

著，从一定程度上克服了图像采集过程中，外界因

第3期罗晖，等：基于图像增强与深度学习的钢轨表面缺陷检测

629

素的干扰。

2)钢轨表面图像的色彩信息比较单一，通过

HSV色彩空间的像素转化，可以提取出图像的饱和

度信息，进而有效的表征出钢轨的缺陷位置，有利

提升检测时的缺陷召回率。

3)基于FasterR-CNN卷积神经网络模型，调

整网络层数、卷积尺度、损失函数等，设计针对钢

轨表面缺陷特征进行提取的专有检测结构，实现了

对钢轨表面缺陷的高效准确检测，其中裂纹、剥落

和磨损3种缺陷的识别精度分别达到91.87%，

92.75%和91.52%。

参考文献：

[1]田贵云,高斌,高运来,等.铁路钢轨缺陷伤损巡检与

监测技术综述

[J].

仪器仪表学报

,2016,37(8):1763−

1780.

TIANGuiyun,GAOBin,GAOYunlai,of

railwayraildefectnon-destructivetestingandmonitoring

[J].ChineseJournalofScientificInstrument,2016,37(8):

1763−1780.

[2]DeutschlE,GasserC,NielA,detectionon

railsurfacesbyavisionbasedsystem[C]//IEEE

IntelligentVehiclesSymposium,14-17,2004,

Parma,,2004:507−511.

[3]LIQingyong,ldetectionsystem

forrailsurfacedefects[J].IEEETransactionsonSystems,

Man,andCybernetics,PartC(ApplicationsandReviews),

2012,42(6):1531−1542.

[4]LIQingyong,-timevisual

inspectionsystemfordiscretesurfacedefectsofrail

heads[J].IEEETransactionsonInstrumentationand

Measurement,2012,61(8):2189−2199.

[5]KumarA,detectionintextured

materialsusingGaborfilters[J].IEEETransactionson

IndustryApplications,2002,38(2):425−440.

[6]MandriotaC,NittiM,AnconaN,-based

featureselectionforraildefectdetection[J].Machine

VisionandApplications,2004,15(4):179−185.

[7]

王耀东

,

朱力强

,

史红梅

,

等

.

基于局部图像纹理计算

的隧道裂缝视觉检测技术[J].铁道学报,2018,40(2):

82−90.

WANGYaodong,ZHULiqiang,SHIHongmei,etal.

Visiondetectionoftunnelcracksbasedonlocalimage

texturecalculation[J].JournaloftheChinaRailway

Society,2018,40(2):82−90.

[8]孙次锁,刘军,秦勇,等.基于深度学习的钢轨伤损智

能识别方法[J].中国铁道科学,2018,39(5):51−57.

SUNCisuo,LIUJun,QINYong,igent

detectionmethodforrailflawbasedondeeplearning[J].

ChinaRailwayScience,2018,39(5):51−57.

[9]VasukiY,HoldenEJ,KovesiP,-automatic

mappingofgeologicalstructuresusingUAV-based

photogrammetricdata:animageanalysisapproach[J].

Computers&Geosciences,2014,69:22−32.

[10]SHIYan,YANGXiaoyuan,ation

invariantdirectionalframelettransformcombinedwith

Gaborfiltersforimagedenoising[J].IEEETransactions

onImageProcessing,2014,23(1):44−55.

[11]

顾桂梅

,

李晓梅

,

常海涛

,

等

.

基于

HSV

空间的钢轨表

面区域快速提取算法[J].云南大学学报(自然科学版),

2019,41(4):707−717.

GUGuimei,LIXiaomei,CHANGHaitao,

extractionagorithmforrailsurfaceregionbasedonHSV

space[J].JournalofYunnanUniversity(NaturalSciences

Edition),2019,41(4):707−717.

[12]RENShaoqing,HEKaiming,GirshickR,

R-CNN:towardsreal-timeobjectdetectionwithregion

proposalnetworks[J].IEEETransactionsonPattern

AnalysisandMachineIntelligence,2017,39(6):1137−

1149.

[13]

孙次锁

,

张玉华

.

基于智能识别与周期检测的钢轨伤

损自动预警方法研究[J].铁道学报,2018,40(11):140−

146.

SUNCisuo,chonautomaticearly

warningmethodforrailflawbasedonintelligent

identificationandperiodicdetection[J].Journalofthe

ChinaRailwaySociety,2018,40(11):140−146.

[14]GANJinrui,LIQingyong,WANGJianzhu,etal.A

hierarchicalextractor-basedvisualrailsurfaceinspection

system[J].IEEESensorsJournal,2017,17(23):7935−

7944.

[15]GoodfellowIJ,Pouget-AbadieJ,MirzaM,etal.

Generativeadversarialnets[C]//NIPS’14:Proceedingsof

the27thInternationalConferenceonNeuralInformation

ProcessingSystems–2014,2:2672−2680.

[16]EveringhamM,EslamiSMA,GoolL,cal

visualobjectclasseschallenge:Aretrospective[J].

InternationalJournalofComputerVision,2015,111(1):

98−136.

[17]DAIJifeng,LIYi,HEKaiming,etal.R-FCN:object

detectionviaregion-basedfullyconvolutionalnetworks

[C]//NIPS’16:Proceedingsofthe30thInternational

ConferenceonNeuralInformationProcessingSystems.

2016:379−387.

[18]LINTY,DollárP,GirshickR,epyramid

networksforobjectdetection[C]//2017IEEEConference

onComputerVisionandPatternRecognition(CVPR).

July21-26,2017,Honolulu,HI,,2017:936−

944.

[19]RedmonJ,3:Anincremental

improvement[C]//uterVision

andPatternRecognition(CVPR),2018:2767−2773.

(编辑涂鹏)