2024年4月30日发(作者：旁骊雪)

第37卷第4期

2022年4月

ChineseJournalofLiquidCrystalsandDisplays

液晶与显示

Vol.37No.4

Apr.2022

文章编号：1007-2780（2022）04-0494-07

一种应用相机阵列实现图像遮挡物移除的方法

杨墨轩，赵源萌

*

，朱凤霞，张宏飞，张存林

（

太赫兹光电子学教育部重点实验室，太赫兹波谱与成像北京市重点实验室，北京成像理论

与技术高精尖创新中心，首都师范大学物理系，北京100048

）

摘要：针对光路中前景遮挡物影响感兴趣信息采集的问题，本文对应用相机阵列的遮挡物移除算法进行实验研究。用阵

列型光场相机采集四维光场数据，然后用数字重聚焦技术进行不同深度的重聚焦，突出目标物细节特征。利用图像重构

技术合成子图像阵列，选择最小误差阈值分割法标记遮挡物区域并复现原图像的细节特征。实验结果证明了应用阵列

型光场相机移除遮挡物的可行性，及其改善图像质量、复现遮挡区域图像、提高图像可读性、降低噪声影响的能力。依据

无参考的图像质量评价指标，本文算法在重构图像质量上SNR与PSNR分别提升了17.3%与77.6%。

关键词：光场采集；数字重聚焦；图像重构；遮挡物

文献标识码：Adoi：10.37188/CJLCD.2021-0255中图分类号：TP391；O436

Methodoftheimagede-occlusionbyusingfocalplanecamera

YANGMo-xuan，ZHAOYuan-meng

*

，ZHUFeng-xia，ZHANGHong-fei，ZHANGCun-lin

（

KeyLaboratoryofTerahertzOptoelectronics，MinistryofEducation，BeijingKeyLaboratoryfor

TerahertzSpectroscopyandImaging，BeijingAdvancedInnovationCenterforImagingTheoryand

Technology，DepartmentofPhysics，CapitalNormalUniversity，Beijing100048，China

）

Abstract：Inordertoaddresstheproblemthattheforegroundocclusionsinthelightpathaffecttheacquisi‐

tionofinformationofinterest，thispaperexploresthede-occlusionalgorithmbasedontheapplicationof

aylightfieldcameraisusedtocollect4Dlightfielddata，af‐

terwhichthedigitalrefocusingtechnologyisemployedtoperformrefocusingatdifferentdepthssoasto

erimentalresultssupportthefeasibilityofapplying

thearraylightfieldcameratoremoveocclusions，aswellasitsabilitytoenhancethequalityofimages，re‐

producetheimageofoccludedareas，improvethereadabilityofimages，andmitigatetheeffectsofnoise.

Accordingtotheno-referenceimagequalityassessment，intermsofthequalityofreconstructedimages，

thealgorithminthispapercanimprovethesignaltonoiseratio（SNR）andpeaksignaltonoiseratio

收稿日期：2021-10-09；修订日期：2021-11-21.

基金项目：国家自然科学基金（No.61875140）；首都师范大学分类发展-学位点建设与研究生教育立项及研究生高

水平学术创新项目（No.）；科技创新服务能力建设-基本科研业务（No.2）

SupportedbyNationalNaturalScienceFoundationofChina（No.61875140）；ClassifiedDevelopmentof

CapitalNormalUniversity-ConstructionofAcademicSites，ProjectApprovalofGraduateEducationand

High-LevelAcademicInnovationProjectofGraduateStudents（No.）；ScientificandTechno‐

logicalInnovationServiceCapacityBuilding-BasicScientificResearchServices（No.2）

*通信联系人，E-mail：

*********************.cn

第4期

杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法

495

（PSNR）by17.3%and77.6%，respectively.

Keywords：lightfieldacquisition；digitalrefocusing；imagereconstruction；occlusion

1引言

在计算机视觉领域中，目标物前出现遮挡与

目标物出现混叠时都会对数据采集造成影响。

多数传统相机设备采集数据时仅可以记录场景

的二维信息，当目标物前出现遮挡时，单视角成

像设备在数据采集时由于遮挡物的影响，会造成

信息的大量丢失。多视角的合成孔径技术则可

以同时记录空间中光线的四维信息，包括方向信

息与角度信息

［1］

，利用更高维度的信息量减少遮

挡物带来的影响。相机阵列法以斯坦福大学提

出的128台相机阵列为代表，相机采用不同的排

列方式，获得多种不同角度的子图像阵列，同时

利用相机阵列的景深特点，通过数字重聚焦技术

与合成孔径技术可实现类似“透视”的效果

［2］

。相

机阵列相比于传统相机多记录了两个维度的信

息，为后续有效地移除遮挡物、获得高还原度的

目标信息提供了理论基础。

近年来，去遮挡物算法被国内外众多学者广

泛研究，并提出了具有高参考价值的理论。刘严

羊硕等

［3］

提出一种先利用EPI的边缘特征估计景

深范围，再进行光场重建的算法。此方法需要遮

挡物与目标物存在明显不同的深度特性，否则影

响遮挡物的识别与移除。张世辉等

［4］

提出一种利

用随机森林检测深度图像中遮挡物的方法。其

方法是基于机器学习思想，在图像检测时需要选

择通用性较好的夹角特性。陈先锋等

［5］

提出一种

基于先验信息的去遮挡物算法。该方法对遮挡

区域具有低敏感度，对于非遮挡区域具有高敏感

度的特性。刘润兴等

［6］

提出一种聚焦式光场去混

叠的方法移除遮挡。此方法对图像合成有较为

良好的改善，但计算量大，实时性还有待提高。

Bobick等

［7］

提出了加入顺序约束条件的动态规划

算法。该方法受限于物体的大小，无法有效处理

孔状和窄物体区域。Egnal等

［8］

基于唯一性约束

条件提出交叉验证算法，受限于唯一性约束，该

方法无法使用在水平倾斜表面。

遮挡物移除算法大多着重于遮挡物移除的

完全性和精确性，忽略了重构图像的质量，不利

于图像细节部分的还原。本文提出一种应用相

机阵列系统，基于光场数据采集与数字重聚焦技

术，并通过SEEQ图像质量评价算法评估图像质

量从而选择最佳的倾斜因子，并利用最小误差法

分割遮挡物，最后通过图像增强与形态学处理还

原完整的目标图像的方法。遮挡物移除技术在

国防军事、公共安全、航天遥感等领域都有着很

好的发展前景。

2基于相机阵列的遮挡物移除算法

本文首先利用数字重聚焦技术，根据遮挡物

与目标物体深度上的不同选择合适的深度重聚

焦，突出目标物体细节信息。根据子图像阵列与

相机阵列的位置关系，利用几何特征连续迭代选

择效果最佳的倾斜因子，得到重构图像。利用最

小误差法选择合理的阈值进行遮挡区域的分割。

最后移除遮挡区域像素，恢复目标物图像的细节

信息，具体流程如图1所示。

图1算法流程图

Fig.1Algorithmflowchart

2.1光场成像与数字重聚焦

如图2所示，本文采用双平面参数法来表征

光场。该方法依据Levoy等

［1］

提出的光场渲染理

论，分别在主透镜与传感器处建立两个二维平

面，设一条同时穿过两个平面的光线，分别交两

496

液晶与显示

第37卷

图2基于Levoy光场渲染理论用四维光场函数表征光场

Fig.2Lightfieldrepresentationusing4Dlightfieldfunc‐

tionbasedonLevoy’slightfieldrenderingtheory

个平面于

（

u

，

v

）

和

（

s

，

t

）

两点，由

（

u

，

v

）

和

（

s

，

t

）

描

述这条光线的二维位置信息与二维方向信息，光

线与主透镜平面和传感器平面相交的两坐标点

共同构成了光场的四维函数L

（

u

，

v

，

s

，

t

）

，其中函

数值L是光线的辐射通量。

应用光场数字重聚焦技术可以做到先利用

阵列相机采集信息，再根据目标物与遮挡物的深

度特性进行数据重聚焦，利用相机的景深特性可

以有效突出目标物的细节信息，减小障碍物带来

的影响

［9］

。这里将光场成像系统中的光线用四维

光场函数L

（

u

，

v

，

s

，

t

）

表征

［10］

，其中u-v面是光学

系统主平面，s-t面是探测器所在平面，L

（

u

，

v

，

s

，

t

）

代表给定光线的光辐射量，下标F代表上述两

平面间的距离，像面上接受到的辐射量可表示为

E

F

(s，t)=

1

F

2

∬

L

F

(s，t，u，v)dudv

.（1）

在此基础上，通过积分求解可以得到一幅数

字图像。由于透镜平面和探测器平面定义的光

场函数与透镜平面和重聚焦平面定义的光场函

数之间的关系可以通过构建相似三角形的几何

变换得到，四维光场函数在空间中的传播可以表

示为

L

t，u，v)=L

s

αF

(s，

F

(u(1-

1

α

)+

α

，

v(1-

1

α

)+

t

α

，u，v).

（2）

在这里

α

为两相似三角形的比例系数，调整

比例系数的大小控制重聚焦的深度。

2.2倾斜因子的确定

单视角相机仅记录二维信息，在面对感兴趣

区域被遮挡时具有较大的局限性

［12］

，面对动态的

目标物时可采用连续多次拍摄的方式来复现目

标物，但面对目标物与遮挡物都为静态的情况，

应用单视角相机移除遮挡物则十分困难。然而

使用多视角合成孔径技术可以利用光场成像获

得丰富的四维信息，为遮挡物的移除提供基础。

通过相机阵列采集子孔径图像集，选取中心图像

并使其他图形根据视差的几何关系进行平移。

根据几何关系选择合适的倾斜因子重构图像，当

子图像经过联合位移后，选择不同倾斜因子的状

态会有所不同，导致重构图像轮廓不清晰。

如图3所示，本文假设同一排阵列相机镜头

间距为Δm，其中第i的相机相对坐标原点的位置

为

m

i

并建立坐标系表征倾斜因子，根据几何关

系有

tanθ=

Δ

Δ

m

n

=

m

i+1

n

-m

i

，

i+1

-n

（3）

i

其中：

θ

为倾斜因子，

Δθ

为两图像沿n轴方向的间

距，这里定义则有

Δn=1

，

tanθ

n

=Δm

。

ntanθ

n

n

=

∑

k=0

Δm+kσ

，（4）

其中：

σ

为修正因子，本文中取

σ=0.008

多次迭

代寻找重构效果最好的倾斜因子。

n

θ

arctan

∑

k=0

Δm+kσ

n

=

n

.（5）

图3子图像阵列几何关系示意图

Fig.3Geometricalrelationshipofsub-imagearraypro‐

cessing

2.3图像重构及其质量分析

刘利雄等

［11］

提出了一个有效的通用无参考

NR）图像质量评估（IQA）模型，该模型利用畸

变图像的局部空间和光谱熵特征。采用一个基

于失真分类和质量评估的两阶段框架，利用支持

向量机（SVM）训练图像失真和质量预测引擎。

被称为基于空间光谱熵的质量指数（SSEQ），能

够跨多个失真类别评估失真图像的质量。其中

空间熵为

E

S

=-

∑

p(x)log(x)

，（6）

X

2

p

其中：

x

是块内的像素值，p（x）为经验概率密度。

（

第4期

杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法

497

失真的引入会导致空间熵的变化，噪声导致局

部空间熵的降低，通过研究空间熵的变化特征

可以反应出图像扭曲的类型。该模型利用下采

样响应作为输入，从输入中提取12维局部熵特

征向量，并从这些特征中学习预测图像质量

分数。

按照如图4所示的装置图进行数据采集，该

实验选择室内场景拍摄目标物飞机模型，遮挡物

为树枝，构建10×10的相机阵列，单次拍摄采集

不同角度及不同位置子图像100张。如图5所

示，本文选择子图像阵列中一行图像进行图像重

构，以第5张图像为中心其余图像分别向两侧平

移。利用修正因子进行多次迭代，每次迭代后应

用SEEQ图像质量评估模型进行质量评估，从而

确定最适合此相机阵列的倾斜因子。观察重构

图像，虽然重构后遮挡范围变大，但经过加权平

均后，原被遮挡物完全覆盖住的部分已经被很好

地复现与还原。

Image acquisition

Data transfer

Object Shield Camera array Computer

图4

Fig.4

实验装置示意图

Schematicdiagramofexperimentaldevice

图5

Fig.5

不同迭代次数的重构图像

Reconstructedimageindifferentiterations

2.4遮挡物区域标记

在计算机视觉中，图像分割一直是一个热门

J(t)

为最小误差函数，其中：最佳阈值在其取最

小值时获得。图6所示为利用最小误差阈值分割

法，经过图像增强、形态学处理后得到的遮挡物

标记图像。

的研究方向，同时也是多数图像处理问题的关键

步骤。其中经典的阈值分割算法有最小误差法、

最大熵法和最大类间方差法

［12-14］

等，本文应用的

是龙建武等提出的一种自适应最小误差阈值分

割算法

［19］

。假设转换为灰度图像后由暗遮挡物

和亮目标物组成，且遮挡物与目标物满足高斯分

布。其中，P

0

和P

1

分别为遮挡物C

0

和C

1

各自分

布的先验概率，且C

0

C

1

各自分布均服从均值为μ

j

和方差为

σ

J

2

的正态分布，则有

J(t)=P

0

(t)⋅ln

P

1

(t)⋅ln

σ

0

2

(t)

0

[

P

1

(t)

]

2

+

[

P

σ

1

2

(t)

(t)

]

2

，

（7）

图6

Fig.6

前景标记

Foregroundimage

498

液晶与显示

遮挡物区域移除与还原

如图7所示，应用相机阵列采集数据后进行

第37卷

2.5

量优秀的图像组成新的子图像阵列，提取相机阵

列中心相机所拍摄的图像并标记前景区域。同

时保留未被标记区域的全部元素，只对被遮挡区

域进行计算，本文提出的方法只对遮挡区域进行

相关计算，在最大程度上保证了图像质量。将感

兴趣区域中每一个像素点进行替换，得到遮挡物

移除后的重构图像。

图像重构，移除目标图像前被标记的图像，并用

重构图像进行还原。按本文2.3节所提出的重构

方式得到的重构图像整体质量不高，因为我们只

考虑了感兴趣区域的重构质量。本文将2.4节所

标记的前景区域作为重点，只保留此区域重构质

Object and shield

Occlusion removal image

Camera array

Reconstructed image array

图7

Fig.7

结果处理示意图

Resultsprocessingdiagram

3实验结果分析

本文实验所使用的相机阵列中单相机型号

为CanonEOS6D型，搭载了一个2020万像素

的CMOS感光组件与DIGIC5+图像处理器

核心，图像感应器尺寸为35.8mm×23.9mm，

采集图像最大尺寸为5472×3648。镜头型号

为EF24~105mmf/4。

如图8所示，本文提出的应用阵列型相机实

现遮挡物移除的方法，对于不涉及目标物细节处

的图像有较强的移除遮挡物的能力，并在移除后

不会造成明显的图像重影与分辨率丢失。对于

目标物细节处的还原，利用基于相机阵列采集的

大量数据有较强的还原细节能力。图8（a）为未

处理的原始图像，部分细节信息完全被遮住且无

法辨认。图8（b）为文献［3］所提出的算法经处理

图8

Fig.8

图像质量对比。（a）原始图像；（b）文献［3］算法；

（c）本文算法。

Imagequalitycomparsion.（a）Originalimage；

（b）AlgorithmofRef.［3］；（c）Ours.

第4期

杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法

499

后则可以复现被遮挡部分细节信息，使得字体可

以辨认，但重构图像较为模糊，部分细节无法辨

认。图8（c）为本文提出的遮挡物移除算法，通过

合理的倾斜因子选择很好地根据几何关系消除

了图像的扭曲，同时还原了图像的细节信息，保

证了图像质量。

如表1所示，为证实本文所提出算法的优势，

本文选取有参考的客观评价指标MSE、SNR、

PSNR、MAE进行比较。在数值上，本文算法的

MSE与MAE均小于文献［3］的结果，在SNR与

PSNR上分别提升了17.3%与77.6%。实验证

实了本文提出的算法在细节的还原度上优于其他

算法，同时有效提升的重构图像的信噪比。为了

应对实际应用中无参考图像的情况，我们对比了

6组无参考的评级指标，分别为EOG、Brenner、

Robters算子与刘利雄等提出的基于空间光谱熵

的质量评价方法（SSEQ），Wang等提出的无参考

［16］

的彩色图像质量评价方法（CCF）以及Anush

KrishnaMoorthy等提出的构造盲图像质量指数

［18］

的两步框架（BIQI）方法对3幅图像进行质量评

价。其中分数区间为0~50，0分为质量最佳。对

比10种客观评价标准，本文算法相对文献［3］在

细节复现与图像质量上都有明显改善，获得了轮

廓清晰、可信度高的重构图像。

此外，同时采集图像与光场数据的方案很好

地解决了目标物或遮挡物为动态物体的情况，但

是应用阵列型光场相机的遮挡物移除算法需要

反复计算得到最佳的倾斜因子，这种方法的计算

量较大，无法做到实时移除遮挡物。

4结论

本文提出一种应用阵列型光场相机的遮挡

物移除算法。实验结果证明该方法与文献［3］提

出的前景移除算法相比，不需要目标物与遮挡物

之间存在较为明显的深度区别，而且仅对遮挡区

域进行计算，减少了图像重构导致未被遮挡区域

的像素损失。本算法应用范围更广，实用性更

强。在图像重构中选择合理的倾斜因子，可以有

效降低目标区域的模糊与噪声的引入，细节上目

标物边缘轮廓也有较为明显的改善。依据无参

考的图像质量评价指标，本文算法在重构图像质

量上SNR与PSNR分别提升了17.3%与

77.6%。本文提出的算法仍具有一定的局限性，

在遮挡物分割方面采用最小误差的阈值分割法，

面对目标物与遮挡物灰度范围较为接近有可能

产生分割区域不准确而过度复现原图导致图像

模糊的现象，今后将针对上述问题做进一步

研究。

表1

Tab.1

MSE

SNR

PSNR

MAE

SEEQ

CCF

BIQI

EOG

Brenner

Roberts

图像质量客观评价表

Ref.［3］

101.28

70.70

15.80

21.23

Ours

20.94

82.97

28.07

3.02

12.23

16.12

23.46

1.57×10

8

2.12×10

8

4.91×10

6

Objectiveevaluationformofimagequality

Originalimage

11.23

15.64

22.78

1.52×10

8

2.01×10

8

4.73×10

6

14.68

20.76

24.56

1.69×10

8

2.19×10

8

6.31×10

6

参考文献：

［1］LEVOYM，ieldrendering［C］//Proceedingsofthe23rdAnnualConferenceonComputer

eans：ACM，1996：31-42.

［2］WILBURNB，JOSHIN，VAISHV，rformanceimagingusinglargecameraarrays［J］.ACMTrans⁃

actionsonGraphics，2005，24（3）：765-776.

［3］刘严羊硕，刘宾，潘晋孝.基于前景移除的合成孔径成像算法［J］.光学学报，2018，38（6）：0611002.

LIUYYS，LIUB，ticapertureimagingalgorithmviaforegroundremoving［J］.ActaOpticaSini⁃

ca，2018，38（6）：0611002.（inChinese）

［4］张世辉，刘建新，孔令富.基于深度图像利用随机森林实现遮挡检测［J］.光学学报，2014，34（9）：0915003.

ZHANGSH，LIUJX，andomforestforocclusiondetectionbasedondepthimage［J］.Acta

500

液晶与显示

OpticaSinica，2014，34（9）：0915003.（inChinese）

第37卷

［5］陈先锋，郭正华，伍俊龙，等.基于区域先验信息的去遮挡立体匹配算法［J］.激光与光电子学进展，2019，56（19）：

191001.

CHENXF，GUOZH，WUJL，-occlusionstereomatchingalgorithmbasedonregionalpriorinforma‐

tion［J］.Laser&OptoelectronicsProgress，2019，56（19）：191001.（inChinese）

［6］刘润兴，任明俊，肖高博.一种聚焦式光场成像去混叠方法［J］.光学学报，2018，38（6）：0611001.

LIURX，RENMJ，dofeliminatingartifactsinfocusedlightfieldimaging［J］.ActaOpticaSi⁃

nica，2018，38（6）：0611001.（inChinese）

［7］BOBICKAF，cclusionstereo［J］.InternationalJournalofComputerVision，1999，33（3）：

181-200.

［8］EGNALG，ingbinocularhalf-occlusions：empiricalcomparisonsoffourapproaches［C］//Pro⁃

Head：IEEE，2000：466-473.

［9］张春萍，王庆.光场相机成像模型及参数标定方法综述［J］.中国激光，2016，43（6）：0609004.

ZHANGCP，onimagingmodelandcalibrationoflightfieldcamera［J］.ChineseJournalofLa⁃

sers，2016，43（6）：0609004.（inChinese）

［10］聂云峰，相里斌，周志良.光场成像技术进展［J］.中国科学院研究生院学报，2011，28（5）：563-572.

NIEYF，XIANGLB，esinlightfieldphotographytechnique［J］.JournaloftheGraduate

SchooloftheChineseAcademyofSciences，2011，28（5）：563-572.（inChinese）

［11］LIULX，LIUB，HUANGH，-referenceimagequalityassessmentbasedonspatialandspectralentropies

［J］.SignalProcessing：ImageCommunication，2014，29（8）：856-863.

［12］KITTLERJ，merrorthresholding［J］.PatternRecognition，1986，19（1）：41-47.

［13］KAPURJN，SAHOOPK，thodforgrey-levelpicturethresholdingusingtheentropyof

thehistogram［J］.ComputerVision，GraphicsandImageProcessing，1985，29（3）：273-285.

［14］holdselectionmethodfromgray-levelhistograms［J］.IEEETransactionsonSystems，Man，and

Cybernetics，1979，9（1）：62-66.

［15］龙建武，申铉京，陈海鹏.自适应最小误差阈值分割算法［J］.自动化学报，2012，38（7）：1134-1144.

LONGJL，SHENXJ，veminimumerrorthresholdingalgorithm［J］.ActaAutomaticaSini⁃

ca，2012，38（7）：1134-1144.（inChinese）

［16］WANGY，LIN，LIZY，ing-inspiredno-referenceunderwatercolorimagequalityassessmentmet‐

ric［J］.Computers&ElectricalEngineering，2018，70：904-913.

［17］MOORTHYAK，-stepframeworkforconstructingblindimagequalityindices［J］.IEEESig⁃

nalProcessingLetters，2010，17（5）：513-516.

作者简介：

杨墨轩（1999—），男，北京人，本科生，

2022年将于首都师范大学获得学士学

位，主要从事太赫兹成像、光场成像方

面的研究。E-mail：@

赵源萌（1981—），男，山东滨州人，博

士，讲师，2010年于北京理工大学获得

博士学位，主要从事光电成像、太赫兹

成像、图像处理方面的研究。E-mail：

ng@

2024年4月30日发(作者：旁骊雪)

第37卷第4期

2022年4月

ChineseJournalofLiquidCrystalsandDisplays

液晶与显示

Vol.37No.4

Apr.2022

文章编号：1007-2780（2022）04-0494-07

一种应用相机阵列实现图像遮挡物移除的方法

杨墨轩，赵源萌

*

，朱凤霞，张宏飞，张存林

（

太赫兹光电子学教育部重点实验室，太赫兹波谱与成像北京市重点实验室，北京成像理论

与技术高精尖创新中心，首都师范大学物理系，北京100048

）

摘要：针对光路中前景遮挡物影响感兴趣信息采集的问题，本文对应用相机阵列的遮挡物移除算法进行实验研究。用阵

列型光场相机采集四维光场数据，然后用数字重聚焦技术进行不同深度的重聚焦，突出目标物细节特征。利用图像重构

技术合成子图像阵列，选择最小误差阈值分割法标记遮挡物区域并复现原图像的细节特征。实验结果证明了应用阵列

型光场相机移除遮挡物的可行性，及其改善图像质量、复现遮挡区域图像、提高图像可读性、降低噪声影响的能力。依据

无参考的图像质量评价指标，本文算法在重构图像质量上SNR与PSNR分别提升了17.3%与77.6%。

关键词：光场采集；数字重聚焦；图像重构；遮挡物

文献标识码：Adoi：10.37188/CJLCD.2021-0255中图分类号：TP391；O436

Methodoftheimagede-occlusionbyusingfocalplanecamera

YANGMo-xuan，ZHAOYuan-meng

*

，ZHUFeng-xia，ZHANGHong-fei，ZHANGCun-lin

（

KeyLaboratoryofTerahertzOptoelectronics，MinistryofEducation，BeijingKeyLaboratoryfor

TerahertzSpectroscopyandImaging，BeijingAdvancedInnovationCenterforImagingTheoryand

Technology，DepartmentofPhysics，CapitalNormalUniversity，Beijing100048，China

）

Abstract：Inordertoaddresstheproblemthattheforegroundocclusionsinthelightpathaffecttheacquisi‐

tionofinformationofinterest，thispaperexploresthede-occlusionalgorithmbasedontheapplicationof

aylightfieldcameraisusedtocollect4Dlightfielddata，af‐

terwhichthedigitalrefocusingtechnologyisemployedtoperformrefocusingatdifferentdepthssoasto

erimentalresultssupportthefeasibilityofapplying

thearraylightfieldcameratoremoveocclusions，aswellasitsabilitytoenhancethequalityofimages，re‐

producetheimageofoccludedareas，improvethereadabilityofimages，andmitigatetheeffectsofnoise.

Accordingtotheno-referenceimagequalityassessment，intermsofthequalityofreconstructedimages，

thealgorithminthispapercanimprovethesignaltonoiseratio（SNR）andpeaksignaltonoiseratio

收稿日期：2021-10-09；修订日期：2021-11-21.

基金项目：国家自然科学基金（No.61875140）；首都师范大学分类发展-学位点建设与研究生教育立项及研究生高

水平学术创新项目（No.）；科技创新服务能力建设-基本科研业务（No.2）

SupportedbyNationalNaturalScienceFoundationofChina（No.61875140）；ClassifiedDevelopmentof

CapitalNormalUniversity-ConstructionofAcademicSites，ProjectApprovalofGraduateEducationand

High-LevelAcademicInnovationProjectofGraduateStudents（No.）；ScientificandTechno‐

logicalInnovationServiceCapacityBuilding-BasicScientificResearchServices（No.2）

*通信联系人，E-mail：

*********************.cn

第4期

杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法

495

（PSNR）by17.3%and77.6%，respectively.

Keywords：lightfieldacquisition；digitalrefocusing；imagereconstruction；occlusion

1引言

在计算机视觉领域中，目标物前出现遮挡与

目标物出现混叠时都会对数据采集造成影响。

多数传统相机设备采集数据时仅可以记录场景

的二维信息，当目标物前出现遮挡时，单视角成

像设备在数据采集时由于遮挡物的影响，会造成

信息的大量丢失。多视角的合成孔径技术则可

以同时记录空间中光线的四维信息，包括方向信

息与角度信息

［1］

，利用更高维度的信息量减少遮

挡物带来的影响。相机阵列法以斯坦福大学提

出的128台相机阵列为代表，相机采用不同的排

列方式，获得多种不同角度的子图像阵列，同时

利用相机阵列的景深特点，通过数字重聚焦技术

与合成孔径技术可实现类似“透视”的效果

［2］

。相

机阵列相比于传统相机多记录了两个维度的信

息，为后续有效地移除遮挡物、获得高还原度的

目标信息提供了理论基础。

近年来，去遮挡物算法被国内外众多学者广

泛研究，并提出了具有高参考价值的理论。刘严

羊硕等

［3］

提出一种先利用EPI的边缘特征估计景

深范围，再进行光场重建的算法。此方法需要遮

挡物与目标物存在明显不同的深度特性，否则影

响遮挡物的识别与移除。张世辉等

［4］

提出一种利

用随机森林检测深度图像中遮挡物的方法。其

方法是基于机器学习思想，在图像检测时需要选

择通用性较好的夹角特性。陈先锋等

［5］

提出一种

基于先验信息的去遮挡物算法。该方法对遮挡

区域具有低敏感度，对于非遮挡区域具有高敏感

度的特性。刘润兴等

［6］

提出一种聚焦式光场去混

叠的方法移除遮挡。此方法对图像合成有较为

良好的改善，但计算量大，实时性还有待提高。

Bobick等

［7］

提出了加入顺序约束条件的动态规划

算法。该方法受限于物体的大小，无法有效处理

孔状和窄物体区域。Egnal等

［8］

基于唯一性约束

条件提出交叉验证算法，受限于唯一性约束，该

方法无法使用在水平倾斜表面。

遮挡物移除算法大多着重于遮挡物移除的

完全性和精确性，忽略了重构图像的质量，不利

于图像细节部分的还原。本文提出一种应用相

机阵列系统，基于光场数据采集与数字重聚焦技

术，并通过SEEQ图像质量评价算法评估图像质

量从而选择最佳的倾斜因子，并利用最小误差法

分割遮挡物，最后通过图像增强与形态学处理还

原完整的目标图像的方法。遮挡物移除技术在

国防军事、公共安全、航天遥感等领域都有着很

好的发展前景。

2基于相机阵列的遮挡物移除算法

本文首先利用数字重聚焦技术，根据遮挡物

与目标物体深度上的不同选择合适的深度重聚

焦，突出目标物体细节信息。根据子图像阵列与

相机阵列的位置关系，利用几何特征连续迭代选

择效果最佳的倾斜因子，得到重构图像。利用最

小误差法选择合理的阈值进行遮挡区域的分割。

最后移除遮挡区域像素，恢复目标物图像的细节

信息，具体流程如图1所示。

图1算法流程图

Fig.1Algorithmflowchart

2.1光场成像与数字重聚焦

如图2所示，本文采用双平面参数法来表征

光场。该方法依据Levoy等

［1］

提出的光场渲染理

论，分别在主透镜与传感器处建立两个二维平

面，设一条同时穿过两个平面的光线，分别交两

496

液晶与显示

第37卷

图2基于Levoy光场渲染理论用四维光场函数表征光场

Fig.2Lightfieldrepresentationusing4Dlightfieldfunc‐

tionbasedonLevoy’slightfieldrenderingtheory

个平面于

（

u

，

v

）

和

（

s

，

t

）

两点，由

（

u

，

v

）

和

（

s

，

t

）

描

述这条光线的二维位置信息与二维方向信息，光

线与主透镜平面和传感器平面相交的两坐标点

共同构成了光场的四维函数L

（

u

，

v

，

s

，

t

）

，其中函

数值L是光线的辐射通量。

应用光场数字重聚焦技术可以做到先利用

阵列相机采集信息，再根据目标物与遮挡物的深

度特性进行数据重聚焦，利用相机的景深特性可

以有效突出目标物的细节信息，减小障碍物带来

的影响

［9］

。这里将光场成像系统中的光线用四维

光场函数L

（

u

，

v

，

s

，

t

）

表征

［10］

，其中u-v面是光学

系统主平面，s-t面是探测器所在平面，L

（

u

，

v

，

s

，

t

）

代表给定光线的光辐射量，下标F代表上述两

平面间的距离，像面上接受到的辐射量可表示为

E

F

(s，t)=

1

F

2

∬

L

F

(s，t，u，v)dudv

.（1）

在此基础上，通过积分求解可以得到一幅数

字图像。由于透镜平面和探测器平面定义的光

场函数与透镜平面和重聚焦平面定义的光场函

数之间的关系可以通过构建相似三角形的几何

变换得到，四维光场函数在空间中的传播可以表

示为

L

t，u，v)=L

s

αF

(s，

F

(u(1-

1

α

)+

α

，

v(1-

1

α

)+

t

α

，u，v).

（2）

在这里

α

为两相似三角形的比例系数，调整

比例系数的大小控制重聚焦的深度。

2.2倾斜因子的确定

单视角相机仅记录二维信息，在面对感兴趣

区域被遮挡时具有较大的局限性

［12］

，面对动态的

目标物时可采用连续多次拍摄的方式来复现目

标物，但面对目标物与遮挡物都为静态的情况，

应用单视角相机移除遮挡物则十分困难。然而

使用多视角合成孔径技术可以利用光场成像获

得丰富的四维信息，为遮挡物的移除提供基础。

通过相机阵列采集子孔径图像集，选取中心图像

并使其他图形根据视差的几何关系进行平移。

根据几何关系选择合适的倾斜因子重构图像，当

子图像经过联合位移后，选择不同倾斜因子的状

态会有所不同，导致重构图像轮廓不清晰。

如图3所示，本文假设同一排阵列相机镜头

间距为Δm，其中第i的相机相对坐标原点的位置

为

m

i

并建立坐标系表征倾斜因子，根据几何关

系有

tanθ=

Δ

Δ

m

n

=

m

i+1

n

-m

i

，

i+1

-n

（3）

i

其中：

θ

为倾斜因子，

Δθ

为两图像沿n轴方向的间

距，这里定义则有

Δn=1

，

tanθ

n

=Δm

。

ntanθ

n

n

=

∑

k=0

Δm+kσ

，（4）

其中：

σ

为修正因子，本文中取

σ=0.008

多次迭

代寻找重构效果最好的倾斜因子。

n

θ

arctan

∑

k=0

Δm+kσ

n

=

n

.（5）

图3子图像阵列几何关系示意图

Fig.3Geometricalrelationshipofsub-imagearraypro‐

cessing

2.3图像重构及其质量分析

刘利雄等

［11］

提出了一个有效的通用无参考

NR）图像质量评估（IQA）模型，该模型利用畸

变图像的局部空间和光谱熵特征。采用一个基

于失真分类和质量评估的两阶段框架，利用支持

向量机（SVM）训练图像失真和质量预测引擎。

被称为基于空间光谱熵的质量指数（SSEQ），能

够跨多个失真类别评估失真图像的质量。其中

空间熵为

E

S

=-

∑

p(x)log(x)

，（6）

X

2

p

其中：

x

是块内的像素值，p（x）为经验概率密度。

（

第4期

杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法

497

失真的引入会导致空间熵的变化，噪声导致局

部空间熵的降低，通过研究空间熵的变化特征

可以反应出图像扭曲的类型。该模型利用下采

样响应作为输入，从输入中提取12维局部熵特

征向量，并从这些特征中学习预测图像质量

分数。

按照如图4所示的装置图进行数据采集，该

实验选择室内场景拍摄目标物飞机模型，遮挡物

为树枝，构建10×10的相机阵列，单次拍摄采集

不同角度及不同位置子图像100张。如图5所

示，本文选择子图像阵列中一行图像进行图像重

构，以第5张图像为中心其余图像分别向两侧平

移。利用修正因子进行多次迭代，每次迭代后应

用SEEQ图像质量评估模型进行质量评估，从而

确定最适合此相机阵列的倾斜因子。观察重构

图像，虽然重构后遮挡范围变大，但经过加权平

均后，原被遮挡物完全覆盖住的部分已经被很好

地复现与还原。

Image acquisition

Data transfer

Object Shield Camera array Computer

图4

Fig.4

实验装置示意图

Schematicdiagramofexperimentaldevice

图5

Fig.5

不同迭代次数的重构图像

Reconstructedimageindifferentiterations

2.4遮挡物区域标记

在计算机视觉中，图像分割一直是一个热门

J(t)

为最小误差函数，其中：最佳阈值在其取最

小值时获得。图6所示为利用最小误差阈值分割

法，经过图像增强、形态学处理后得到的遮挡物

标记图像。

的研究方向，同时也是多数图像处理问题的关键

步骤。其中经典的阈值分割算法有最小误差法、

最大熵法和最大类间方差法

［12-14］

等，本文应用的

是龙建武等提出的一种自适应最小误差阈值分

割算法

［19］

。假设转换为灰度图像后由暗遮挡物

和亮目标物组成，且遮挡物与目标物满足高斯分

布。其中，P

0

和P

1

分别为遮挡物C

0

和C

1

各自分

布的先验概率，且C

0

C

1

各自分布均服从均值为μ

j

和方差为

σ

J

2

的正态分布，则有

J(t)=P

0

(t)⋅ln

P

1

(t)⋅ln

σ

0

2

(t)

0

[

P

1

(t)

]

2

+

[

P

σ

1

2

(t)

(t)

]

2

，

（7）

图6

Fig.6

前景标记

Foregroundimage

498

液晶与显示

遮挡物区域移除与还原

如图7所示，应用相机阵列采集数据后进行

第37卷

2.5

量优秀的图像组成新的子图像阵列，提取相机阵

列中心相机所拍摄的图像并标记前景区域。同

时保留未被标记区域的全部元素，只对被遮挡区

域进行计算，本文提出的方法只对遮挡区域进行

相关计算，在最大程度上保证了图像质量。将感

兴趣区域中每一个像素点进行替换，得到遮挡物

移除后的重构图像。

图像重构，移除目标图像前被标记的图像，并用

重构图像进行还原。按本文2.3节所提出的重构

方式得到的重构图像整体质量不高，因为我们只

考虑了感兴趣区域的重构质量。本文将2.4节所

标记的前景区域作为重点，只保留此区域重构质

Object and shield

Occlusion removal image

Camera array

Reconstructed image array

图7

Fig.7

结果处理示意图

Resultsprocessingdiagram

3实验结果分析

本文实验所使用的相机阵列中单相机型号

为CanonEOS6D型，搭载了一个2020万像素

的CMOS感光组件与DIGIC5+图像处理器

核心，图像感应器尺寸为35.8mm×23.9mm，

采集图像最大尺寸为5472×3648。镜头型号

为EF24~105mmf/4。

如图8所示，本文提出的应用阵列型相机实

现遮挡物移除的方法，对于不涉及目标物细节处

的图像有较强的移除遮挡物的能力，并在移除后

不会造成明显的图像重影与分辨率丢失。对于

目标物细节处的还原，利用基于相机阵列采集的

大量数据有较强的还原细节能力。图8（a）为未

处理的原始图像，部分细节信息完全被遮住且无

法辨认。图8（b）为文献［3］所提出的算法经处理

图8

Fig.8

图像质量对比。（a）原始图像；（b）文献［3］算法；

（c）本文算法。

Imagequalitycomparsion.（a）Originalimage；

（b）AlgorithmofRef.［3］；（c）Ours.

第4期

杨墨轩，等：一种应用相机阵列实现图像遮挡物移除的方法

499

后则可以复现被遮挡部分细节信息，使得字体可

以辨认，但重构图像较为模糊，部分细节无法辨

认。图8（c）为本文提出的遮挡物移除算法，通过

合理的倾斜因子选择很好地根据几何关系消除

了图像的扭曲，同时还原了图像的细节信息，保

证了图像质量。

如表1所示，为证实本文所提出算法的优势，

本文选取有参考的客观评价指标MSE、SNR、

PSNR、MAE进行比较。在数值上，本文算法的

MSE与MAE均小于文献［3］的结果，在SNR与

PSNR上分别提升了17.3%与77.6%。实验证

实了本文提出的算法在细节的还原度上优于其他

算法，同时有效提升的重构图像的信噪比。为了

应对实际应用中无参考图像的情况，我们对比了

6组无参考的评级指标，分别为EOG、Brenner、

Robters算子与刘利雄等提出的基于空间光谱熵

的质量评价方法（SSEQ），Wang等提出的无参考

［16］

的彩色图像质量评价方法（CCF）以及Anush

KrishnaMoorthy等提出的构造盲图像质量指数

［18］

的两步框架（BIQI）方法对3幅图像进行质量评

价。其中分数区间为0~50，0分为质量最佳。对

比10种客观评价标准，本文算法相对文献［3］在

细节复现与图像质量上都有明显改善，获得了轮

廓清晰、可信度高的重构图像。

此外，同时采集图像与光场数据的方案很好

地解决了目标物或遮挡物为动态物体的情况，但

是应用阵列型光场相机的遮挡物移除算法需要

反复计算得到最佳的倾斜因子，这种方法的计算

量较大，无法做到实时移除遮挡物。

4结论

本文提出一种应用阵列型光场相机的遮挡

物移除算法。实验结果证明该方法与文献［3］提

出的前景移除算法相比，不需要目标物与遮挡物

之间存在较为明显的深度区别，而且仅对遮挡区

域进行计算，减少了图像重构导致未被遮挡区域

的像素损失。本算法应用范围更广，实用性更

强。在图像重构中选择合理的倾斜因子，可以有

效降低目标区域的模糊与噪声的引入，细节上目

标物边缘轮廓也有较为明显的改善。依据无参

考的图像质量评价指标，本文算法在重构图像质

量上SNR与PSNR分别提升了17.3%与

77.6%。本文提出的算法仍具有一定的局限性，

在遮挡物分割方面采用最小误差的阈值分割法，

面对目标物与遮挡物灰度范围较为接近有可能

产生分割区域不准确而过度复现原图导致图像

模糊的现象，今后将针对上述问题做进一步

研究。

表1

Tab.1

MSE

SNR

PSNR

MAE

SEEQ

CCF

BIQI

EOG

Brenner

Roberts

图像质量客观评价表

Ref.［3］

101.28

70.70

15.80

21.23

Ours

20.94

82.97

28.07

3.02

12.23

16.12

23.46

1.57×10

8

2.12×10

8

4.91×10

6

Objectiveevaluationformofimagequality

Originalimage

11.23

15.64

22.78

1.52×10

8

2.01×10

8

4.73×10

6

14.68

20.76

24.56

1.69×10

8

2.19×10

8

6.31×10

6

参考文献：

［1］LEVOYM，ieldrendering［C］//Proceedingsofthe23rdAnnualConferenceonComputer

eans：ACM，1996：31-42.

［2］WILBURNB，JOSHIN，VAISHV，rformanceimagingusinglargecameraarrays［J］.ACMTrans⁃

actionsonGraphics，2005，24（3）：765-776.

［3］刘严羊硕，刘宾，潘晋孝.基于前景移除的合成孔径成像算法［J］.光学学报，2018，38（6）：0611002.

LIUYYS，LIUB，ticapertureimagingalgorithmviaforegroundremoving［J］.ActaOpticaSini⁃

ca，2018，38（6）：0611002.（inChinese）

［4］张世辉，刘建新，孔令富.基于深度图像利用随机森林实现遮挡检测［J］.光学学报，2014，34（9）：0915003.

ZHANGSH，LIUJX，andomforestforocclusiondetectionbasedondepthimage［J］.Acta

500

液晶与显示

OpticaSinica，2014，34（9）：0915003.（inChinese）

第37卷

［5］陈先锋，郭正华，伍俊龙，等.基于区域先验信息的去遮挡立体匹配算法［J］.激光与光电子学进展，2019，56（19）：

191001.

CHENXF，GUOZH，WUJL，-occlusionstereomatchingalgorithmbasedonregionalpriorinforma‐

tion［J］.Laser&OptoelectronicsProgress，2019，56（19）：191001.（inChinese）

［6］刘润兴，任明俊，肖高博.一种聚焦式光场成像去混叠方法［J］.光学学报，2018，38（6）：0611001.

LIURX，RENMJ，dofeliminatingartifactsinfocusedlightfieldimaging［J］.ActaOpticaSi⁃

nica，2018，38（6）：0611001.（inChinese）

［7］BOBICKAF，cclusionstereo［J］.InternationalJournalofComputerVision，1999，33（3）：

181-200.

［8］EGNALG，ingbinocularhalf-occlusions：empiricalcomparisonsoffourapproaches［C］//Pro⁃

Head：IEEE，2000：466-473.

［9］张春萍，王庆.光场相机成像模型及参数标定方法综述［J］.中国激光，2016，43（6）：0609004.

ZHANGCP，onimagingmodelandcalibrationoflightfieldcamera［J］.ChineseJournalofLa⁃

sers，2016，43（6）：0609004.（inChinese）

［10］聂云峰，相里斌，周志良.光场成像技术进展［J］.中国科学院研究生院学报，2011，28（5）：563-572.

NIEYF，XIANGLB，esinlightfieldphotographytechnique［J］.JournaloftheGraduate

SchooloftheChineseAcademyofSciences，2011，28（5）：563-572.（inChinese）

［11］LIULX，LIUB，HUANGH，-referenceimagequalityassessmentbasedonspatialandspectralentropies

［J］.SignalProcessing：ImageCommunication，2014，29（8）：856-863.

［12］KITTLERJ，merrorthresholding［J］.PatternRecognition，1986，19（1）：41-47.

［13］KAPURJN，SAHOOPK，thodforgrey-levelpicturethresholdingusingtheentropyof

thehistogram［J］.ComputerVision，GraphicsandImageProcessing，1985，29（3）：273-285.

［14］holdselectionmethodfromgray-levelhistograms［J］.IEEETransactionsonSystems，Man，and

Cybernetics，1979，9（1）：62-66.

［15］龙建武，申铉京，陈海鹏.自适应最小误差阈值分割算法［J］.自动化学报，2012，38（7）：1134-1144.

LONGJL，SHENXJ，veminimumerrorthresholdingalgorithm［J］.ActaAutomaticaSini⁃

ca，2012，38（7）：1134-1144.（inChinese）

［16］WANGY，LIN，LIZY，ing-inspiredno-referenceunderwatercolorimagequalityassessmentmet‐

ric［J］.Computers&ElectricalEngineering，2018，70：904-913.

［17］MOORTHYAK，-stepframeworkforconstructingblindimagequalityindices［J］.IEEESig⁃

nalProcessingLetters，2010，17（5）：513-516.

作者简介：

杨墨轩（1999—），男，北京人，本科生，

2022年将于首都师范大学获得学士学

位，主要从事太赫兹成像、光场成像方

面的研究。E-mail：@

赵源萌（1981—），男，山东滨州人，博

士，讲师，2010年于北京理工大学获得

博士学位，主要从事光电成像、太赫兹

成像、图像处理方面的研究。E-mail：

ng@