2024年5月28日发(作者：第枫)

2023年5月1日

第46卷第9期

现代电子技术

ModernElectronicsTechnique

May2023

Vol.46No.9

引用格式：孙春云，李祥祥，孙甜甜.融合LBP和卷积神经网络的摩尔纹检测[J].现代电子技术，2023，46（9）：73⁃77.

DOI：10.16652/.1004⁃373x.2023.09.014

73

融合LBP和卷积神经网络的摩尔纹检测

孙春云，李祥祥，孙甜甜

（昌吉学院信息工程学院，新疆昌吉

摘

831100）

要：摩尔纹是一种由数字网格重叠引起的不规则混叠干扰条纹。屏摄类图像中摩尔纹的出现不仅降低了图像质

量，并会对后续的图像处理任务产生不良的影响。为了有效、快速、准确地检测这种摩尔纹，文中提出一种利用局部二值模

式（LBP）和多输入卷积神经网络（CNN）结合的检测模型。LBP特征计算速度快且能很好地描述摩尔纹纹理，该方法首先使

用LBP提取特征，并将提取特征后的图像与原始图像一起送入设计好的多输入卷积神经网络。实验结果证明，将经过LBP

特征提取的图像作为摩尔纹纹理的强化信息与原始图像一起送入网络，比单独将原始图像送入网络的网络收敛速度更快、

准确率更高，可以达到99.6%，比经典的InceptionV3分类模型准确率提高了4%。

关键词：摩尔纹检测；LBP；卷积神经网络；检测模型；特征提取；收敛速度

中图分类号：TN911.73⁃34文献标识码：A文章编号：1004⁃373X（2023）09⁃0073⁃05

MoirepatterndetectionbasedonLBPandconvolutionneuralnetwork

（DepartmentofInformationEngineering，ChangjiUniversity，Changji831100，China）

SUNChunyun，LIXiangxiang，SUNTiantian

Abstract：Moirepatternisanirearanceof

moirepatterninscreenedphotographynotonlyreducestheimagequality，butalsomayproduceadverseimpactonthe

inputconvolutionneuralnetwork（CNN）turecalculationisfastandcanbeeffectivelyappliedtodescribe

rtodetectthemoirepatterneffectively，anewdetectionmodelbasedonLBPandmulti⁃

isusedtoextractfeature，andsentboththeimageafterfeatureextractionandtheoriginalimagetothe

designedmulti⁃erimentalresultsprovethatboththeimagessentintothenetworktogethercanbringaboutfaster

convergencespeedandhigheraccuracy（upto99.6%），incomparisonwiththesituationthatonlytheoriginalimageissentinto

thenetwork，andtheaccuracyrateoftheproposedmodelis4%higherthanthatoftheclassicInceptionV3classificationmodel.

Keywords：Moirepattern；LBP；CNN；detectionmodel；featureextraction；convergencerate

0引言

不同拍摄角度、不同距离拍摄出来的摩尔纹纹理都会有所

不同，没有明显的分布规律。目前已有的摩尔纹检测研究

方法较少，传统的方法主要遵循用于检测的规则阈值。

如文献[4⁃5]认为摩尔纹纹理是一种高频噪声，探讨分析

了摩尔纹图像频率域并使用滤波器处理带有摩尔纹的图

片。文献[6⁃7]从RAW图像去马赛克算法入手，提出了基

于插值的去摩尔纹算法。随着屏摄类摩尔纹图像越来

越多，基于深度学习的方法也逐步被提出。文献[8]提出

一种将小波变换与CNN（ConvolutionalNeuralNetwork，

卷积神经网络）结合的方式来检测摩尔纹的方法。学术

界也举办了相关竞赛

[9⁃10]

，促进对摩尔纹图像的研究。

为贴近日常摩尔纹产生场景，本文首先用不同型号

手机、不同品牌计算机显示屏制作了2460张图像作为

数据集，用于网络的训练；然后对图像进行LBP（Local

随着智能手机和电子屏幕的普及，人们可以方便快

捷地拍摄记录下身边各类事物，屏摄即对着屏幕拍照，

在日常生活中也越来越常见。从计算机或其他电子屏

幕捕获图像不同于捕捉现实世界中的场景，因为它会产

生人们不需要的条纹噪声，这种不规律的水波纹似的噪

声就是摩尔纹。摩尔纹的出现不仅降低了图像质量，而

且对后续的图像处理任务产生不良的影响，如超分辨

率

[1]

、面部识别

[2]

、光学字符检测（OpticalCharacter

[3]

Recognition,OCR）

等，检测出图像中的摩尔纹从而进

一步去除能有效提高图像处理准确率。

摩尔纹在空间域的检测是非常复杂的，不同场景、

收稿日期：2022⁃08⁃07修回日期：2022⁃08⁃23

Copyright©博看网. All Rights Reserved.

74

现代电子技术

2023年第46卷

，BinaryPattern局部二值模式）特征提取，将原始图像与

LBP特征提取后的图像一一对应，作为网络的输入，经

过CNN网络训练后，该模型在测试集上能达到99.6%的

准确率，比目前流行的InceptionV3分类卷积模型

[11]

准

确率提高了4%。

s(⋅)

为

i

p

为邻域像素的灰度值；

i

c

为中心像素的灰度值；

(x

c

,y

c

)

为中心像素的坐标；

p

为邻域的第

p

个像素；

式中：

符号函数。

s(x)=

{

1

1.1

相关工作

在屏摄类图片中，摩尔纹纹理出现的根本原因是图

摩尔纹原理

1,x≥0

0,else

（2）

片本身、显示器屏幕与数码相机三者之间频率的混叠。

摩尔纹纹理类似某种具有透明间隙的，覆盖在原始清晰

图像上的大尺寸干涉图案，如图1所示。

图2基本的LBP算子

将屏摄类图像进行LBP特征提取后，如图3所示。

其中：图3a）为正常情况拍摄的图像；图3b）为其相应的

LBP特征提取后的图像；图3c）为手机对着电脑屏幕拍

摄产生的摩尔纹图像；图3d）为其相应的LBP特征图

像。可以看出，摩尔纹纹理可以很好地由LBP特征描

述，经过LBP特征提取后，摩尔纹的半透明纹理得到显

化。因此，将屏摄类图像会出现的大尺度、大范围（几乎

覆盖整个图像）摩尔纹经过LBP特征提取后，作为强化

信息送入网络，可以获取更高的准确率。

图1放大的摩尔纹纹理

由于拍摄距离和拍摄角度的不同，产生的摩尔纹纹

理是不同的。当图像出现部分精细纹理时，这些高频率

的纹理与摩尔纹纹理的高频竞争，使得很难区分是图像

本身某些高频部分产生的摩尔纹纹理还是由于拍摄屏

幕而产生的摩尔纹纹理。将图像本身的高频细节纹理

与屏摄产生的摩尔纹纹理进行有效区分，也是屏摄类图

像处理中的难点。

1.2

LBP是一种用来描述图像局部纹理特征的算子，它

LBP

具有较高的特征鉴别力、较低的计算复杂度、灰度不变

性以及旋转不变性等显著的优点。它首先在文献[12]提

出，用于纹理特征提取。随着对LBP算子研究的逐渐深

入，该方法已广泛应用于图像内容识别方向

[13]

，在机器

视觉检测领域也取得了很好的识别效果。LBP具有多

种模式，包括标准模式、圆形LBP、旋转不变模式及等价

模式

[14]

等。

为阈值，将相邻的8个像素的灰度值与其进行比较，若

为1，否则为0。这样，3×3邻域内的8个点经比较可产生

8位二进制数（通常转换为十进制数即LBP码，共256种），

即得到该窗口中心像素点的LBP值，并用这个值来反映

该区域的纹理信息，如图2所示。

用公式表示为：

LBP(x

c

,y

c

)=

∑

2

p

s(i

p

-i

c

)

P-1

p=0

LBP算子定义为在3×3的窗口内，以窗口中心像素

1.3

图3图像及其LBP特征

周围像素值大于中心像素值，则该像素点的位置被标记

近几年来，在计算机视觉领域，深度学习已取得了

卷积神经网络（CNN）

巨大的突破，尤其是卷积神经网络（CNN），CNN在大规

模图像分类中具有优异的表现，主要有三种类型的层：

卷积层、池化层和全连接层。卷积层是卷积神经网络最

重要的层，也是“卷积神经网络”名字的来源。卷积层使

（1）

用多个滤波器卷积图像区域来提取特征，当卷积层数增

加时，会相应抽象组合成更高阶的特征，CNN理解图像

Copyright©博看网. All Rights Reserved.

第9期

孙春云，等：融合LBP和卷积神经网络的摩尔纹检测

75

的能力也逐步增强。卷积层的两个要点是局部连接和

权值共享，局部连接和权值共享降低了参数量，使训练

复杂度大大下降。池化层在连续的卷积层中间，用于压

缩数据和参数的量，具有特征不变性，可对特征降维，在

一定程度上防止过拟合。多输入CNN已经被用于诸如

对花卉质量进行分级

[15]

和分析表面纹理

[16]

等方面。

品牌计算机屏幕（DELL、苹果显示屏、联想）以不同距

离、不同角度对着计算机屏幕进行拍摄获取图像，以涵

盖不同设备制造商的相机软件预处理及不同屏幕的差

异性。本文所选取的图像不论拍摄的距离与角度，对

拍摄屏摄类图像的要求是屏摄内容覆盖整个画面，不

能露出计算机屏幕边框及屏幕以外的场景。

2.3

本实验在操作系统为Windows10，CPU为i7⁃

实验环境

2本文提出的方法

本文提出了一种利用LBP与原始图像一一对应，作

为卷积神经网络的两个输入来检测摩尔纹的新方法。

完整的卷积神经网络结构如图4所示。

7700K，RAM64GB，GPU为NVIDIAGeForceGTX1080

的计算机上进行。使用Python中的Keras库，后端为

供微调，为本次实验奠定了基础。

TensorFlow。Keras建模简单，并提供了很多经典模型可

整个数据被分为2000张用作训练、460张用于测

试，训练进行了100个epoch，batchsize为32，损失函数

使用Keras中的多分类损失函数

categorical_crossentropy，优化器使用Adam。Adam优化

算法是随机梯度下降算法的扩展式，近年来其被广泛用

于深度学习应用中，尤其是计算机视觉和自然语言处理

等任务。Adam优化器可以自动调节学习率，且对超参

图4双输入卷积神经网络结构

数的选择相当鲁棒。设置参数为lr=0.001，beta_1=0.9，

beta_2=0.999，epsilon=0.0001。

2.4

为了证明方法的有效性，实验中首先使用目前典型

实验结果及分析

2.1

基于传统架构的CNN网络，本文提出了一种新型

双输入卷积神经网络模型

的双输入卷积神经网络，如图4所示。卷积层

C

1

采用32个

7×7的卷积核，步长为1，分别对屏摄类图像与经过LBP

然后将这两组特征拼接在一起。

C

2

为3×3的64个卷积

S

2

以步长为4的大小汇聚特征。

S

4

层后使

核，步长为1，

的InceptionV3网络

[14]

进行测试，作为实验数据的对比

基准，然后对文献[8]提出的三输入卷积神经网络和本文

采用的LBP双输入卷积神经网络的结果进行对比，验证

了提出模型对摩尔纹检测的优越性。

2.4.1

InceptionV3是由Google提出，用于实现ImageNet

InceptionV3迁移学习

预处理的屏摄类图像进行特征提取，池化层

S

1

步长为2，

用全局平均池化（GlobalAveragePooling,GAP）来替代

该全连接层（即使用池化层的方式来降维），这样可以保

留前面各个卷积层和池化层提取到的特征信息，后接全

FC

2

为最终的输出层，

连接层

FC

1

有32个神经元，激活

大规模视觉识别任务（ImageNetLargeVisualRecognition

Challenge）的一种神经网络。采用预先训练好的

InceptionV3模型，保留训练好模型中的所有卷积层参

数，将瓶颈层输出的1000个特征向量作为提取的特征

向量，替换最后的全连接层，对屏摄类图像进行分类检

测，以达到较高的分类准确率。在实验中设置了三种不

函数为softmax函数。

2.2数据集

为更符合屏摄图像使用场景，制作了一个含2460张

图像的数据集，用于训练和测试神经网络。这些数据集

包含正图像样本（正常拍摄的图像）和负图像样本（从计

算机屏幕拍摄的图像），比例为1∶1。随机从ImageNet

测试数据集中选取了1230张图像作为正图像样本，对

于负图像样本考虑到获取图像的多样性与泛化性，随机

在网上和ImageNet验证数据集上抽取高清图像，这些图

像包括不同场景、不同类别、不同对比度等信息，以模拟

实际屏摄应用情景。使用不同的移动设备（iPhoneX、

iPhone7、华为NOVA5、华为NOVA5i、努比亚）在不同

同类型的输入，分别是未经处理的原始图像、经过LBP

特征提取后的图像和经过小波变换的图像。因为

InceptionV3网络要求输入为（299，299，3），所以将小波

图6所示。

由图6a）可以看出，经过图像预处理后再送入网络

比直接将图像送入网络学习效果更好，其中，经过小波

变换后的图像要比经过LBP特征提取后的效果要好，同

样在图6b）的训练loss中也可以体现出来。图6c）和

变换的图像做如图5处理，再送入网络。实验结果如

Copyright©博看网. All Rights Reserved.

76

现代电子技术

2023年第46卷

图6d）为测试准确率和测试loss，可以看出LBP特征提

取后的图像表现最差，准确率低且浮动很大，很不稳定。

小波变换后的图像在测试集上表现较为平稳，但是准确

率在93%就达到了饱和，从长远来看，直接将图片送入

网络虽然表现不是很平稳，但是依然有进步的空间，在

经过100个epoch后获得了95.89%的准确率。

力较差，经过100个epoch后准确率在80%左右。将

epoch增加至400时，可以达到96.3%的准确率，也可以

验证此小型卷积神经网络分类的有效性。将经过LBP

特征提取后的图像送入网络，效果明显优于未经处理直

接送入网络，测试集准确率达到了近95%，由此可以看

出LBP特征能很好地描述摩尔纹纹理，强化摩尔纹信

息，使网络更快的收敛。第三种输入即本文提出的方

法，由图7可以看出，能更快的收敛，在第30个epoch就

基本已经稳定，且达到99.6%的准确率。

图5小波变换后送入InceptionV3

图7CNN实验组曲线图对比

为与本文提出的方法作对比，复现了文献[8]提出的

方法，在本数据集上训练测试，得到的结果与论文结果

图6InceptionV3实验组曲线图对比

较为符合。现将在Inception实验组中获得的较好实验

结果与文献[8]提出的方法和本文提出的方法进行对比，

结果如图8所示。

由这组实验可以看出，对于像InceptionV3这样比

较深的网络，可以很好地提取图像的特征，获得了较高

的准确率。将经过图像预处理的图像送入此类较深的

网络可能加快或平稳学习能力，但是在图像预处理时也

损失了部分信息，不一定能提升效果。如经过LBP特征

提取后虽然强化了摩尔纹纹理信息，但是同时也损失了

很多图像信息，经过InceptionV3后效果也是最差的。

2.4.2

本组采用上文提到的简单卷积网络，同样设置三种

简单卷积神经网络

不同的输入，分别是未经处理的原始图像、经过LBP特

征提取后的图像和本文提出的方法，即将原始图像和经

过LBP特征提取后的图像一起送入网络。将原始图像

及经过LBP处理后的图像送入卷积网络时，此时网络输

入为单输入卷积神经网络。实验效果如图7所示。

由图7实验结果可知，将图像直接送入小型卷积神

经网络，此时网络卷积层较少，对图像高阶特征提取能

图8不同模型曲线对比图

Copyright©博看网. All Rights Reserved.

第9期

孙春云，等：融合LBP和卷积神经网络的摩尔纹检测

arXiv/1701.09037[P].[2017⁃01⁃31].

77

可以看出，由图8InceptionV3虽然具有良好的特

征提取能力，但是在摩尔纹纹理检测分类中，文献[8]方

法和本文提出的方法更有效，与文献[8]相比，本文提出

的方法能更快收敛，性能更稳定，各个模型准确率如表1

所示。

表1不同模型的准确率对比

模型

InceptionV3

文献[8]模型

本文模型

准确率

95.89

98.4

99.6

[5]WEIZ，WANGJ，NICHOLH，n⁃Gaussianfil⁃

croscopyimage[J].Micron，2012，43（2/3）：170⁃176.

京理工大学，2009.

teringframeworkforMoirépatternnoiseremovalfromX⁃raymi⁃

[6]邱菊.基于插值算法的去彩色摩尔纹效应的研究[D].南京：南

[7]邱香香.基于CCD静态图像的摩尔纹去除算法研究[D].南京：

南京理工大学，2012.

[8]épatterndetectionusingwaveletdecomposi⁃

tionandconvolutionalneuralnetwork[C]//IEEESymposium

1279.

SeriesonComputationalIntelligence.[S.l.]：IEEE，2018：1275⁃

[9]YUANS，TIMOFTER，SLABAUGHG，2019chal⁃

lengeonimagedemoireing：Methodsandresults[C]//2019

shop.[S.l.]：IEEE，2019：3534⁃3545.

IEEE/CVFInternationalConferenceonComputerVisionWork⁃

[10]YUANS，TIMOFTER，LEONARDISA，2020

%

3结语

由于图像本身、数字屏幕与数字照相机之间的网格

重叠，摩尔纹在屏摄类图片中不可避免。本文提出了

一种利用LBP特征和卷积神经网络检测屏摄类图像中

摩尔纹的方法。所提出的CNN模型的优点是，它使用

LBP特征提取后的图像作为摩尔纹纹理的强化信息，与

原始图像一同输入网络，不仅提高了模型检测的准确

率，也加快了模型收敛的速度。实验结果证明，此CNN

模型的性能要优于目前典型使用的InceptionV3分类模

型。电视机、室内外大屏等屏摄类图片虽然不在训练集

中，但是也可以进行有效检测，模型泛化能力较好。

注：本文通讯作者为孙春云。

参考文献

challengeonimagedemoireing：methodsandresults[C]//Pro⁃

ceedingsoftheIEEE/CVFConferenceonComputerVisionand

PatternRecognitionWorkshops.[S.l.]：IEEE，2020：460⁃461.

[11]SZEGEDYC，VANHOUCKEV，IOFFES，king

theinceptionarchitectureforcomputevision[C]//Proceedings

k：IEEE，2016：2818⁃2826.

oftheIEEEConferenceonComputerVisionandPatternRec⁃

[12]OJALAT，PIETIKINENM，mance

evaluationoftexturemeasureswithclassificationbasedon

Kullbackdiscriminationofdistributions[C]//Proceedingsof

rusalem，Israel：IEEE，1994：582⁃585.

2009.

⁃

[13]王玲.基于LBP的特征提取研究[D].北京：北京交通大学，

[14]OJALAT，PIETIKAINENM，esolution

calbinarypatterns[J].IEEEtransactionsonpatternanalysis

andmachineintelligence，2002，24（7）：971⁃987.

[1]KIMJiwon，LEEJungKwon，teimage

super⁃resolutionusingverydeepconvolutionalnetworks[C]//

as，NV，USA：IEEE，2016：1646⁃1654.

2016IEEEConferenceonComputerVisionandPatternRecog⁃

[2]HERan，ZHENGWeishi，mcorrentropy

criterionforrobustfacerecognition[J].IEEEtransactionson

1576.

patternanalysisandmachineintelligence，2011，33（8）：1561⁃

[3]缪少君.移动智能终端证件信息识别系统的开发与实现[D].武

汉：武汉工程大学，2016.

[4]HAZAVEISeyedeMahya，

gray⁃scaleandrotationinvarianttextureclassificationwithlo⁃

[15]SUNYu，LINZhu，GUANWang，⁃inputconvolu⁃

tionalneuralnetworkforflowergrading[J].Journalofelectri⁃

calandcomputerengineering，2017（2）：1⁃8.

[16]FUJIEDAS，TAKAYAMAK，tcon⁃

CornellUniversity，2017.

methodforremovingthemoirepatternsfromimages：10.48550/

volutionalneuralnetworksfortextureclassification[D].USA：

作者简介：孙春云（1989—），女，河南西平人，主要研究领域为计算机网络、图像识别。

李祥祥（1995—），男，安徽亳州人，主要研究领域为机器学习、人工智能。

孙甜甜（1994—），女，江苏徐州人，主要研究领域为模式识别、计算机教育。

Copyright©博看网. All Rights Reserved.

2024年5月28日发(作者：第枫)

2023年5月1日

第46卷第9期

现代电子技术

ModernElectronicsTechnique

May2023

Vol.46No.9

引用格式：孙春云，李祥祥，孙甜甜.融合LBP和卷积神经网络的摩尔纹检测[J].现代电子技术，2023，46（9）：73⁃77.

DOI：10.16652/.1004⁃373x.2023.09.014

73

融合LBP和卷积神经网络的摩尔纹检测

孙春云，李祥祥，孙甜甜

（昌吉学院信息工程学院，新疆昌吉

摘

831100）

要：摩尔纹是一种由数字网格重叠引起的不规则混叠干扰条纹。屏摄类图像中摩尔纹的出现不仅降低了图像质

量，并会对后续的图像处理任务产生不良的影响。为了有效、快速、准确地检测这种摩尔纹，文中提出一种利用局部二值模

式（LBP）和多输入卷积神经网络（CNN）结合的检测模型。LBP特征计算速度快且能很好地描述摩尔纹纹理，该方法首先使

用LBP提取特征，并将提取特征后的图像与原始图像一起送入设计好的多输入卷积神经网络。实验结果证明，将经过LBP

特征提取的图像作为摩尔纹纹理的强化信息与原始图像一起送入网络，比单独将原始图像送入网络的网络收敛速度更快、

准确率更高，可以达到99.6%，比经典的InceptionV3分类模型准确率提高了4%。

关键词：摩尔纹检测；LBP；卷积神经网络；检测模型；特征提取；收敛速度

中图分类号：TN911.73⁃34文献标识码：A文章编号：1004⁃373X（2023）09⁃0073⁃05

MoirepatterndetectionbasedonLBPandconvolutionneuralnetwork

（DepartmentofInformationEngineering，ChangjiUniversity，Changji831100，China）

SUNChunyun，LIXiangxiang，SUNTiantian

Abstract：Moirepatternisanirearanceof

moirepatterninscreenedphotographynotonlyreducestheimagequality，butalsomayproduceadverseimpactonthe

inputconvolutionneuralnetwork（CNN）turecalculationisfastandcanbeeffectivelyappliedtodescribe

rtodetectthemoirepatterneffectively，anewdetectionmodelbasedonLBPandmulti⁃

isusedtoextractfeature，andsentboththeimageafterfeatureextractionandtheoriginalimagetothe

designedmulti⁃erimentalresultsprovethatboththeimagessentintothenetworktogethercanbringaboutfaster

convergencespeedandhigheraccuracy（upto99.6%），incomparisonwiththesituationthatonlytheoriginalimageissentinto

thenetwork，andtheaccuracyrateoftheproposedmodelis4%higherthanthatoftheclassicInceptionV3classificationmodel.

Keywords：Moirepattern；LBP；CNN；detectionmodel；featureextraction；convergencerate

0引言

不同拍摄角度、不同距离拍摄出来的摩尔纹纹理都会有所

不同，没有明显的分布规律。目前已有的摩尔纹检测研究

方法较少，传统的方法主要遵循用于检测的规则阈值。

如文献[4⁃5]认为摩尔纹纹理是一种高频噪声，探讨分析

了摩尔纹图像频率域并使用滤波器处理带有摩尔纹的图

片。文献[6⁃7]从RAW图像去马赛克算法入手，提出了基

于插值的去摩尔纹算法。随着屏摄类摩尔纹图像越来

越多，基于深度学习的方法也逐步被提出。文献[8]提出

一种将小波变换与CNN（ConvolutionalNeuralNetwork，

卷积神经网络）结合的方式来检测摩尔纹的方法。学术

界也举办了相关竞赛

[9⁃10]

，促进对摩尔纹图像的研究。

为贴近日常摩尔纹产生场景，本文首先用不同型号

手机、不同品牌计算机显示屏制作了2460张图像作为

数据集，用于网络的训练；然后对图像进行LBP（Local

随着智能手机和电子屏幕的普及，人们可以方便快

捷地拍摄记录下身边各类事物，屏摄即对着屏幕拍照，

在日常生活中也越来越常见。从计算机或其他电子屏

幕捕获图像不同于捕捉现实世界中的场景，因为它会产

生人们不需要的条纹噪声，这种不规律的水波纹似的噪

声就是摩尔纹。摩尔纹的出现不仅降低了图像质量，而

且对后续的图像处理任务产生不良的影响，如超分辨

率

[1]

、面部识别

[2]

、光学字符检测（OpticalCharacter

[3]

Recognition,OCR）

等，检测出图像中的摩尔纹从而进

一步去除能有效提高图像处理准确率。

摩尔纹在空间域的检测是非常复杂的，不同场景、

收稿日期：2022⁃08⁃07修回日期：2022⁃08⁃23

Copyright©博看网. All Rights Reserved.

74

现代电子技术

2023年第46卷

，BinaryPattern局部二值模式）特征提取，将原始图像与

LBP特征提取后的图像一一对应，作为网络的输入，经

过CNN网络训练后，该模型在测试集上能达到99.6%的

准确率，比目前流行的InceptionV3分类卷积模型

[11]

准

确率提高了4%。

s(⋅)

为

i

p

为邻域像素的灰度值；

i

c

为中心像素的灰度值；

(x

c

,y

c

)

为中心像素的坐标；

p

为邻域的第

p

个像素；

式中：

符号函数。

s(x)=

{

1

1.1

相关工作

在屏摄类图片中，摩尔纹纹理出现的根本原因是图

摩尔纹原理

1,x≥0

0,else

（2）

片本身、显示器屏幕与数码相机三者之间频率的混叠。

摩尔纹纹理类似某种具有透明间隙的，覆盖在原始清晰

图像上的大尺寸干涉图案，如图1所示。

图2基本的LBP算子

将屏摄类图像进行LBP特征提取后，如图3所示。

其中：图3a）为正常情况拍摄的图像；图3b）为其相应的

LBP特征提取后的图像；图3c）为手机对着电脑屏幕拍

摄产生的摩尔纹图像；图3d）为其相应的LBP特征图

像。可以看出，摩尔纹纹理可以很好地由LBP特征描

述，经过LBP特征提取后，摩尔纹的半透明纹理得到显

化。因此，将屏摄类图像会出现的大尺度、大范围（几乎

覆盖整个图像）摩尔纹经过LBP特征提取后，作为强化

信息送入网络，可以获取更高的准确率。

图1放大的摩尔纹纹理

由于拍摄距离和拍摄角度的不同，产生的摩尔纹纹

理是不同的。当图像出现部分精细纹理时，这些高频率

的纹理与摩尔纹纹理的高频竞争，使得很难区分是图像

本身某些高频部分产生的摩尔纹纹理还是由于拍摄屏

幕而产生的摩尔纹纹理。将图像本身的高频细节纹理

与屏摄产生的摩尔纹纹理进行有效区分，也是屏摄类图

像处理中的难点。

1.2

LBP是一种用来描述图像局部纹理特征的算子，它

LBP

具有较高的特征鉴别力、较低的计算复杂度、灰度不变

性以及旋转不变性等显著的优点。它首先在文献[12]提

出，用于纹理特征提取。随着对LBP算子研究的逐渐深

入，该方法已广泛应用于图像内容识别方向

[13]

，在机器

视觉检测领域也取得了很好的识别效果。LBP具有多

种模式，包括标准模式、圆形LBP、旋转不变模式及等价

模式

[14]

等。

为阈值，将相邻的8个像素的灰度值与其进行比较，若

为1，否则为0。这样，3×3邻域内的8个点经比较可产生

8位二进制数（通常转换为十进制数即LBP码，共256种），

即得到该窗口中心像素点的LBP值，并用这个值来反映

该区域的纹理信息，如图2所示。

用公式表示为：

LBP(x

c

,y

c

)=

∑

2

p

s(i

p

-i

c

)

P-1

p=0

LBP算子定义为在3×3的窗口内，以窗口中心像素

1.3

图3图像及其LBP特征

周围像素值大于中心像素值，则该像素点的位置被标记

近几年来，在计算机视觉领域，深度学习已取得了

卷积神经网络（CNN）

巨大的突破，尤其是卷积神经网络（CNN），CNN在大规

模图像分类中具有优异的表现，主要有三种类型的层：

卷积层、池化层和全连接层。卷积层是卷积神经网络最

重要的层，也是“卷积神经网络”名字的来源。卷积层使

（1）

用多个滤波器卷积图像区域来提取特征，当卷积层数增

加时，会相应抽象组合成更高阶的特征，CNN理解图像

Copyright©博看网. All Rights Reserved.

第9期

孙春云，等：融合LBP和卷积神经网络的摩尔纹检测

75

的能力也逐步增强。卷积层的两个要点是局部连接和

权值共享，局部连接和权值共享降低了参数量，使训练

复杂度大大下降。池化层在连续的卷积层中间，用于压

缩数据和参数的量，具有特征不变性，可对特征降维，在

一定程度上防止过拟合。多输入CNN已经被用于诸如

对花卉质量进行分级

[15]

和分析表面纹理

[16]

等方面。

品牌计算机屏幕（DELL、苹果显示屏、联想）以不同距

离、不同角度对着计算机屏幕进行拍摄获取图像，以涵

盖不同设备制造商的相机软件预处理及不同屏幕的差

异性。本文所选取的图像不论拍摄的距离与角度，对

拍摄屏摄类图像的要求是屏摄内容覆盖整个画面，不

能露出计算机屏幕边框及屏幕以外的场景。

2.3

本实验在操作系统为Windows10，CPU为i7⁃

实验环境

2本文提出的方法

本文提出了一种利用LBP与原始图像一一对应，作

为卷积神经网络的两个输入来检测摩尔纹的新方法。

完整的卷积神经网络结构如图4所示。

7700K，RAM64GB，GPU为NVIDIAGeForceGTX1080

的计算机上进行。使用Python中的Keras库，后端为

供微调，为本次实验奠定了基础。

TensorFlow。Keras建模简单，并提供了很多经典模型可

整个数据被分为2000张用作训练、460张用于测

试，训练进行了100个epoch，batchsize为32，损失函数

使用Keras中的多分类损失函数

categorical_crossentropy，优化器使用Adam。Adam优化

算法是随机梯度下降算法的扩展式，近年来其被广泛用

于深度学习应用中，尤其是计算机视觉和自然语言处理

等任务。Adam优化器可以自动调节学习率，且对超参

图4双输入卷积神经网络结构

数的选择相当鲁棒。设置参数为lr=0.001，beta_1=0.9，

beta_2=0.999，epsilon=0.0001。

2.4

为了证明方法的有效性，实验中首先使用目前典型

实验结果及分析

2.1

基于传统架构的CNN网络，本文提出了一种新型

双输入卷积神经网络模型

的双输入卷积神经网络，如图4所示。卷积层

C

1

采用32个

7×7的卷积核，步长为1，分别对屏摄类图像与经过LBP

然后将这两组特征拼接在一起。

C

2

为3×3的64个卷积

S

2

以步长为4的大小汇聚特征。

S

4

层后使

核，步长为1，

的InceptionV3网络

[14]

进行测试，作为实验数据的对比

基准，然后对文献[8]提出的三输入卷积神经网络和本文

采用的LBP双输入卷积神经网络的结果进行对比，验证

了提出模型对摩尔纹检测的优越性。

2.4.1

InceptionV3是由Google提出，用于实现ImageNet

InceptionV3迁移学习

预处理的屏摄类图像进行特征提取，池化层

S

1

步长为2，

用全局平均池化（GlobalAveragePooling,GAP）来替代

该全连接层（即使用池化层的方式来降维），这样可以保

留前面各个卷积层和池化层提取到的特征信息，后接全

FC

2

为最终的输出层，

连接层

FC

1

有32个神经元，激活

大规模视觉识别任务（ImageNetLargeVisualRecognition

Challenge）的一种神经网络。采用预先训练好的

InceptionV3模型，保留训练好模型中的所有卷积层参

数，将瓶颈层输出的1000个特征向量作为提取的特征

向量，替换最后的全连接层，对屏摄类图像进行分类检

测，以达到较高的分类准确率。在实验中设置了三种不

函数为softmax函数。

2.2数据集

为更符合屏摄图像使用场景，制作了一个含2460张

图像的数据集，用于训练和测试神经网络。这些数据集

包含正图像样本（正常拍摄的图像）和负图像样本（从计

算机屏幕拍摄的图像），比例为1∶1。随机从ImageNet

测试数据集中选取了1230张图像作为正图像样本，对

于负图像样本考虑到获取图像的多样性与泛化性，随机

在网上和ImageNet验证数据集上抽取高清图像，这些图

像包括不同场景、不同类别、不同对比度等信息，以模拟

实际屏摄应用情景。使用不同的移动设备（iPhoneX、

iPhone7、华为NOVA5、华为NOVA5i、努比亚）在不同

同类型的输入，分别是未经处理的原始图像、经过LBP

特征提取后的图像和经过小波变换的图像。因为

InceptionV3网络要求输入为（299，299，3），所以将小波

图6所示。

由图6a）可以看出，经过图像预处理后再送入网络

比直接将图像送入网络学习效果更好，其中，经过小波

变换后的图像要比经过LBP特征提取后的效果要好，同

样在图6b）的训练loss中也可以体现出来。图6c）和

变换的图像做如图5处理，再送入网络。实验结果如

Copyright©博看网. All Rights Reserved.

76

现代电子技术

2023年第46卷

图6d）为测试准确率和测试loss，可以看出LBP特征提

取后的图像表现最差，准确率低且浮动很大，很不稳定。

小波变换后的图像在测试集上表现较为平稳，但是准确

率在93%就达到了饱和，从长远来看，直接将图片送入

网络虽然表现不是很平稳，但是依然有进步的空间，在

经过100个epoch后获得了95.89%的准确率。

力较差，经过100个epoch后准确率在80%左右。将

epoch增加至400时，可以达到96.3%的准确率，也可以

验证此小型卷积神经网络分类的有效性。将经过LBP

特征提取后的图像送入网络，效果明显优于未经处理直

接送入网络，测试集准确率达到了近95%，由此可以看

出LBP特征能很好地描述摩尔纹纹理，强化摩尔纹信

息，使网络更快的收敛。第三种输入即本文提出的方

法，由图7可以看出，能更快的收敛，在第30个epoch就

基本已经稳定，且达到99.6%的准确率。

图5小波变换后送入InceptionV3

图7CNN实验组曲线图对比

为与本文提出的方法作对比，复现了文献[8]提出的

方法，在本数据集上训练测试，得到的结果与论文结果

图6InceptionV3实验组曲线图对比

较为符合。现将在Inception实验组中获得的较好实验

结果与文献[8]提出的方法和本文提出的方法进行对比，

结果如图8所示。

由这组实验可以看出，对于像InceptionV3这样比

较深的网络，可以很好地提取图像的特征，获得了较高

的准确率。将经过图像预处理的图像送入此类较深的

网络可能加快或平稳学习能力，但是在图像预处理时也

损失了部分信息，不一定能提升效果。如经过LBP特征

提取后虽然强化了摩尔纹纹理信息，但是同时也损失了

很多图像信息，经过InceptionV3后效果也是最差的。

2.4.2

本组采用上文提到的简单卷积网络，同样设置三种

简单卷积神经网络

不同的输入，分别是未经处理的原始图像、经过LBP特

征提取后的图像和本文提出的方法，即将原始图像和经

过LBP特征提取后的图像一起送入网络。将原始图像

及经过LBP处理后的图像送入卷积网络时，此时网络输

入为单输入卷积神经网络。实验效果如图7所示。

由图7实验结果可知，将图像直接送入小型卷积神

经网络，此时网络卷积层较少，对图像高阶特征提取能

图8不同模型曲线对比图

Copyright©博看网. All Rights Reserved.

第9期

孙春云，等：融合LBP和卷积神经网络的摩尔纹检测

arXiv/1701.09037[P].[2017⁃01⁃31].

77

可以看出，由图8InceptionV3虽然具有良好的特

征提取能力，但是在摩尔纹纹理检测分类中，文献[8]方

法和本文提出的方法更有效，与文献[8]相比，本文提出

的方法能更快收敛，性能更稳定，各个模型准确率如表1

所示。

表1不同模型的准确率对比

模型

InceptionV3

文献[8]模型

本文模型

准确率

95.89

98.4

99.6

[5]WEIZ，WANGJ，NICHOLH，n⁃Gaussianfil⁃

croscopyimage[J].Micron，2012，43（2/3）：170⁃176.

京理工大学，2009.

teringframeworkforMoirépatternnoiseremovalfromX⁃raymi⁃

[6]邱菊.基于插值算法的去彩色摩尔纹效应的研究[D].南京：南

[7]邱香香.基于CCD静态图像的摩尔纹去除算法研究[D].南京：

南京理工大学，2012.

[8]épatterndetectionusingwaveletdecomposi⁃

tionandconvolutionalneuralnetwork[C]//IEEESymposium

1279.

SeriesonComputationalIntelligence.[S.l.]：IEEE，2018：1275⁃

[9]YUANS，TIMOFTER，SLABAUGHG，2019chal⁃

lengeonimagedemoireing：Methodsandresults[C]//2019

shop.[S.l.]：IEEE，2019：3534⁃3545.

IEEE/CVFInternationalConferenceonComputerVisionWork⁃

[10]YUANS，TIMOFTER，LEONARDISA，2020

%

3结语

由于图像本身、数字屏幕与数字照相机之间的网格

重叠，摩尔纹在屏摄类图片中不可避免。本文提出了

一种利用LBP特征和卷积神经网络检测屏摄类图像中

摩尔纹的方法。所提出的CNN模型的优点是，它使用

LBP特征提取后的图像作为摩尔纹纹理的强化信息，与

原始图像一同输入网络，不仅提高了模型检测的准确

率，也加快了模型收敛的速度。实验结果证明，此CNN

模型的性能要优于目前典型使用的InceptionV3分类模

型。电视机、室内外大屏等屏摄类图片虽然不在训练集

中，但是也可以进行有效检测，模型泛化能力较好。

注：本文通讯作者为孙春云。

参考文献

challengeonimagedemoireing：methodsandresults[C]//Pro⁃

ceedingsoftheIEEE/CVFConferenceonComputerVisionand

PatternRecognitionWorkshops.[S.l.]：IEEE，2020：460⁃461.

[11]SZEGEDYC，VANHOUCKEV，IOFFES，king

theinceptionarchitectureforcomputevision[C]//Proceedings

k：IEEE，2016：2818⁃2826.

oftheIEEEConferenceonComputerVisionandPatternRec⁃

[12]OJALAT，PIETIKINENM，mance

evaluationoftexturemeasureswithclassificationbasedon

Kullbackdiscriminationofdistributions[C]//Proceedingsof

rusalem，Israel：IEEE，1994：582⁃585.

2009.

⁃

[13]王玲.基于LBP的特征提取研究[D].北京：北京交通大学，

[14]OJALAT，PIETIKAINENM，esolution

calbinarypatterns[J].IEEEtransactionsonpatternanalysis

andmachineintelligence，2002，24（7）：971⁃987.

[1]KIMJiwon，LEEJungKwon，teimage

super⁃resolutionusingverydeepconvolutionalnetworks[C]//

as，NV，USA：IEEE，2016：1646⁃1654.

2016IEEEConferenceonComputerVisionandPatternRecog⁃

[2]HERan，ZHENGWeishi，mcorrentropy

criterionforrobustfacerecognition[J].IEEEtransactionson

1576.

patternanalysisandmachineintelligence，2011，33（8）：1561⁃

[3]缪少君.移动智能终端证件信息识别系统的开发与实现[D].武

汉：武汉工程大学，2016.

[4]HAZAVEISeyedeMahya，

gray⁃scaleandrotationinvarianttextureclassificationwithlo⁃

[15]SUNYu，LINZhu，GUANWang，⁃inputconvolu⁃

tionalneuralnetworkforflowergrading[J].Journalofelectri⁃

calandcomputerengineering，2017（2）：1⁃8.

[16]FUJIEDAS，TAKAYAMAK，tcon⁃

CornellUniversity，2017.

methodforremovingthemoirepatternsfromimages：10.48550/

volutionalneuralnetworksfortextureclassification[D].USA：

作者简介：孙春云（1989—），女，河南西平人，主要研究领域为计算机网络、图像识别。

李祥祥（1995—），男，安徽亳州人，主要研究领域为机器学习、人工智能。

孙甜甜（1994—），女，江苏徐州人，主要研究领域为模式识别、计算机教育。

Copyright©博看网. All Rights Reserved.