2024年4月7日发(作者：锁幻露)

ComputerEngineeringandApplications计算机工程与应用

2018，54（13）175

⦾

图形图像处理

⦾

LYTRO相机光场图像深度估计算法及重建的研究

孙福盛，韩燮，丁江华，刘涛

SUNFusheng,HANXie,DINGJianghua,LIUTao

中北大学计算机与控制工程学院，太原030051

SchoolofComputerScienceandControlEngineering,NorthUniversityofChina,Taiyuan030051,China

SUNFusheng,HANXie,DINGJianghua,chonalgorithmofimagedepthestimationandreconstruction

erEngineeringandApplications,2018,54（13）：175-180.

Abstract：Light-fieldcamerimportant

ourseofpracticalresearch,thespatial

informationoftheLytrocameraandtheangleinformationarereusedinthesamesensor,whichleadstothelowresolution

oftheimage,rtosolvethisproblem,thispaperpresentsamethodof

sub-pixelimagedepthestimation,performingthesub-pixelshiftsbasedonmulti-labelofsub-apertureimagesinthe

frequencydomain,euseoftheguidefilter

suppressesnoisewhilekeepingtheedgeoftheimagewell,andmatchingcostbehaviorofmultilabelisoptimized,the

y,thesurfacerenderingandtexturemappingofthetargetdepthmap

areprocessed,erimentalresultsshowthattheproposedalgorithmcansolvethe

problemoffuzzyreconstructioninthereconstructionofcomplexobjectswithgoodperformance.

Keywords：sub-pixelprecision;multi-label;imagematching;graphcut;depthmapestimation;3Dreconstruction

摘要：光场相机目前已广泛应用于消费领域和工业应用领域，利用光场相机对目标物进行深度重建成为了一项重

要的研究课题。在实际研究过程中，Lytro相机空间信息与角度信息复用于同一传感器，导致图像分辨率较低，从而

使得重建效果不甚理想。为解决这一问题，提出了一种亚像素精度的光场图像深度估计方法，在频率域对子孔径图

像进行多标签下的亚像素偏移，以中心视角图像为参照，建立像素匹配代价行为；使用引导滤波抑制噪声的同时保

持了图像边缘；对多标签下的匹配代价行为进行优化，得到精确的深度估计结果。对目标深度图进行表面渲染、纹

理映射等重建处理，得到较为精细的重建结果。实验结果表明，该算法在对复杂度较高的物体进行重建时，解决了

重建模糊等问题，有较好的表现。

关键词：亚像素精度；多标签；图像匹配；图像分割；深度估计；三维重建

文献标志码：A中图分类号：TP391.41doi：10.3778/.1002-8331.1702-0301

1引言

差、运动信息、模糊和纹理梯度等

[2]

。光场去相机能够同

图像的深度估计是计算机视觉研究中的一个基本

时记录到达传感器光线的位置信息和角度信息。仅一

问题，它在机器人学、目标跟踪、场景理解和三维重建中

次拍摄，通过软件处理可以获得场景的多视角图像和重

有着重要作用

[1]

。同人类利用很多视觉线索来感知深度

聚焦图像，视差信息和模糊线索并存，对深度估计极为

一样，图像中也存在很多可利用的深度线索，如双目视

有利，受到业界的极大关注。目前，国内外基于光场图

基金项目：国家自然科学基金（No.61602426，No.61672473）。

作者简介：孙福盛（1988—），男，博士生，CCF会员，研究领域为计算机仿真、虚拟现实，E-mail：sfs2699@；韩燮（1964—），

女，博士，教授，博士生导师，CCF会员，研究领域为计算机仿真、虚拟现实。

收稿日期：2017-02-27修回日期：2017-06-07文章编号：1002-8331（2018）13-0175-06

CNKI网络出版：2017-10-10,/kcms/detail/

1762018，54（13）

ComputerEngineeringandApplications计算机工程与应用

像的深度估计与重建已取得了一些进展。文献[3-7]提

物体主透镜微透镜阵列

传感器

取四维光场的极平面图像（EpipolarPlaneImages，EPI）

宏像素

进行分析，三维场景的一点对应EPI的一条直线，直线

子像素

斜率与深度成比例关系。文献[7]针对EPI的线性结构

特点，提出一种交叉检测模型，用于快速准确地检测图

像的轮廓边缘；采用结构张量对边缘点的深度进行预

A

估，并通过照度一致性得分求取精确的边缘深度。该方

D

d

法对噪声敏感，适用于基线比较大的相机阵列系统，对

基于微透镜阵列的Lytro光场图像不能产生令人满意的

图1Lytro光场相机原理

结果。文献[8]将视差线索和散焦线索相融合，结合马

两个数量级。因此，主透镜聚焦在微透镜阵列上，微透

尔科夫随机场进行优化，在纹理复杂和深度不连续场景

镜阵列聚焦在无穷远处。

下取得了较高质量的深度恢复结果。该方法对重聚焦

如图1所示，由

A

点发出的所有角度的光线经主透

参数依赖性强，鲁棒性不高。文献[9]直接对马赛克子

镜汇聚到其中一个微透镜，继而分散到其后覆盖的若干

孔径图像进行块匹配，避免不同子孔径间的信号干扰。

传感器像元，构成一个宏像素。粗线为来自

A

点某个

该方法产生的深度图呈现阶梯状，精度受到限制。文

角度的光线，只可能到达其中一个子像素。宏像素对应

献[10]提出基于Lytro图像的双目立体测距的方法，选

物点的位置信息，子像素对应角度信息，传感器采用空

取其中两个子孔径图像构成双目立体测距系统，通过

间复用原理记录场景的四维光场信息。

Matlab标定工具箱和OpenCV函数库进行联合标定、立

2.2子孔径图像提取

体校正和立体匹配生成深度图像，对目标物体进行距离

图1中粗线是物体上一点到达主透镜某个子孔径

测量。该方法只使用了100多个子孔径图像中两幅图

的光线，将所有点通过该孔径的光线提取出来，构成了

像进行测距实验，立体匹配及测距精度不高。文献[11]

子孔径图像，如图2所示。图2（a）是传感器平面，高、宽

采用depthfromfocus算法估计场景深度，进行数字重

分别为

Height

和

Width

，宏像素大小

M×N

。将每个

聚焦处理，重构聚焦于不同深度的图像序列，最后用

宏像素中相同位置的子像素提取出来，按相对位置组合

Halcon软件实现三维重建。

成新的图像，即子孔径图像，共

M×N

个，每个子孔径图

文献[12]中提到Lytro相机子孔径图像像素间的偏

像的大小为

(Height/N)×(Width/M)

，如图2（b）所示。

移量在－1~1之间，因此本文提出基于亚像素精度的光

M

场图像深度重建，算法分为以下几步：（1）设置不同偏移

N

………

标签，对子孔径图像在频率域内进行不同程度的亚像素

Height

………

…

偏移。（2）以中心子孔径图像为参照，建立像素匹配代价

………

行为CostVolume。（3）对CostVolume进行引导滤波保

…

………

持图像边缘。（4）利用GCO工具箱，结合图像分割，对

Width

………

………

CostVolume进行优化产生精确的深度估计结果。（5）三

（a）传感器宏像素大小（b）子孔径图像提取

维重建。

图2子孔径图像提取

本文算法创新性可总结为两个方面：（1）在频率域

子孔径图像等价于减小主透镜孔径大小之后对场

内进行不同程度的亚像素偏移，提高算法精度及实验结

景的成像，景深相对于原始图像增大。子孔径图像是从

果精度；（2）通过引导滤波的方法保护目标物边缘信息，

不同视角采集的图像，不过相邻两个视角的图像视差在

以获得优质的算法效果。

一个像素之内，因此本文提出基于亚像素精度的光场图

像深度估计。

2光场子孔径图像提取

2.1光场成像原理

3深度估计

与传统相机相比，Lytro光场相机在主透镜与传感

3.1子孔径图像亚像素偏移

器之间插入微透镜阵列，每个微透镜下覆盖若干传感器

四维光场表示为

L(x,y,s,t)

，

(s,t)

是子孔径图像索

像素，如图1所示。

引，

(x,y)

是图像坐标。除中心视角外，对每个子孔径图

微透镜阵列与主透镜的距离

D≈F

m

，微透镜阵列

像

I

(s,t)

(x,y)

在频率域进行多标签的亚像素偏移。

与传感器的距离

d=f

m

，其中

F

m

、

f

m

分别为主透镜和

根据相移理论，图像在空间域偏移

(Δx,Δy)

时，对

微透镜的焦距，

F

m

=6.45mm

，

f

m

=25μm

，两者相差

应的频率域的变换为：

孙福盛，韩燮，丁江华，等：LYTRO相机光场图像深度估计算法及重建的研究

2018，54（13）177

F{I

(s,t)

(x+Δx,y+Δy)}=

立的匹配代价，公式（6）则是比较梯度差异。

λ

是协调

F{I

2πΔxΔy

(s,t)

(x,y)}exp(s

c

,t

c

)∉(s,t)

（1）

两个梯度方向的比重，定义为：

ì

í

Δx=kl(s-s

c

)

λ(s,t)=

|s-s

î

Δy=kl(t-t

|+|t-t

c

)

（2）

|s-s

c

|

cc

|

（7）

其中，

F{⋅}

是二维离散傅里叶变换；

Δx、Δy

是像素偏

最后根据公式（4）建立多标签下的像素匹配代价行

移量；

k

是亚像素单位偏移量，设为0.02；

l

是偏移倍数，

为

C(x,y,l)

。

即标签数，为了保证精度，

l

个数一般大于20；若

l

小于

3.3引导滤波

20，则精度极剧下降。

(s

引导滤波是近几年才出现的滤波技术，是一种同时

c

,t

c

)

是中心子孔径索引值，视角

离中心越远，图像偏移量越大。

考虑了像素空间差异和强度差异的滤波器，具有保持图

亚像素偏移图像

I

′

像边缘的特性

[13]

。引导滤波用到了局部线性模型，即输

(s,t)

(x,y)

根据公式（3）获得：

I

′

(s,t)

(x,y)=I

出图像与输入图像在一个图像窗口内满足线性关系。

(s,t)

(x+Δx,y+Δy)=

(x,y)

为引导图像，采用

F

-1

{F{I

2πΔxΔy

以中心子孔径图像

I=I

(s

}

（3）

c

,t

c

)

(s,t)

(x,y)}exp

引导滤波器对每个匹配代价行为

C(x,y)

进行滤波（固定

图3分别对子孔径图像在空间域进行双线性插值

标签

l

）。在窗口

w

k

内，输出图像

C

′

k

(x

i

,y

i

)

定义为：

平移（3（b））和频率域进行像素偏移（3（c））。局部放大

C

′

k

(x

i

,y

i

)=a

k

C

k

(x

i

,y

i

)+b

k

，

(x

i

,y

i

)∈w

k

（8）

结果表明：双线性插值产生模糊现象，频率域操作产生

的图像更清晰，更尖锐。为了保证后续计算匹配代价行

其中：

为的准确度，精确的偏移图像至关重要，尤其是对于基

a

|

1

w

I

k

(x

i

,y

i

)C

k

(x

i

,y

-

----------

k

|

(x

∑

i

)-

I

k

C

k

(x

i

,yi)

k

=

i

,y

i

)∈w

k

线极小的Lytro子孔径图像。

（9

b

k

=

-

σ

k

+ε

）

C

--

k

(

---

x

-

i

-

,y

--

i

)-a

k

-

I

k

（10）

σ

k

是引导图

I

在图像窗口的方差。

|

w

k

|

表示窗口大小，

ε

用于防止

a

k

过大，两者是调节滤波器滤波效果的重要

参数。

a

k

的分子是引导图像和待滤波图像的协方差，

本文利用文献[14]高效率的盒式滤波器使求和运算的

复杂度降低到

O(1)

。利用方差和期望的关系公式（11），

可用盒式滤波计算得到：

-

a

i

、

-

b

i

以及

σ

k

的值。

（a）原始图像（b）双线性插值（c）频率域像素偏移

DX=E(X

2

)-(EX)

2

（11）

图3图像偏移

一个像素可能同时落到数个窗口内，因此输出值

C

′

(x

i

,y

i

)

取多个窗口的平均值，如公式（12）所示：

3.2建立匹配代价行为

子孔径图像执行偏移操作之后，以中心孔径图像

C

′

(x

i

,y

i

)=

1

k

∑

(a

k

C

k

(x

i

,y

i

)+b

k

)=

-

a

i

C(x

i

,y

i

)+

-

b

（

i

12）

为参考，分别对每个标签建立像素匹配代价行为Cost

使用引导滤波器对各个标签的匹配代价行为进行

Volume。此过程考虑两方面的像素差异，灰度差值

C

A

滤波，得到边缘保持良好的滤波结果

C

′

(x,y,l)

。

和梯度差值

C

G

。匹配代价函数

C

是像素

(x,y)

和标签

3.4GCO优化

l

的函数，即：

GCO（GraphCutOptimization）是一款计算机视觉

C(x,y,l)=αC

A

(x,y,l)+(1-α)C

G

(x,y,l)

（4）

研究机构研发的工具箱，主要研究基于多标签的图像分

其中

α

是权衡两者比重的参数，一般设0.5。

C

A

和

C

G

割优化算法

[15]

。原理过程如图4所示。

分别定义为：

l

1

l

2

C

A

(x,y,l)=I

(s)

(x,y)-I

′

(s,t)

(x,y)|,τ

标签

1

)

（5）

(s,t

∑

min(|

)∈V

c

,t

c

CostVolume

C

G

(x,y,l)=

∑

(λ(s,t)min(Diff

)∈V

x

(x,y),τ

2

)+

(s,t

Weights*SmoothCost

(1-λ(s,t))min(Diff

y

(x,y),τ

2

))

（6）

其中

τ

1

、

τ

2

是为鲁棒性设置的阈值，

V

是除中心孔径外

像素

所有子孔径图像的索引集合，

x

方向梯度差异定位为：

图4GCO原理

Diff(x,y)=I

(s

c

,t

c

)

x

(x,y)-I

′

(s,t)

x

(x,y)

，

y

方向相似。公式（5）

图4中只画出了两个标签的情况。其中绿色和紫

通过比较中心孔径图像和其他子孔径图像像素差异建

色是像素分别在两个标签下的匹配代价行为，在本文中

1782018，54（13）

ComputerEngineeringandApplications计算机工程与应用

指

C

′

(x,y,l)

；红色线表示像素邻域间的边权值，一般取为：10×10个像素。

两者的颜色差值，若不相邻则取0。

对原始图像进行校正得到正交排列的宏像素。本

把所有需要断裂的点与点之间边的权值和未断裂

文实验中，宏像素共379×379个，每个宏像素大小为11×

的点与标签之间连接的边的权值加起来认为是最后切

11个像素。如图5（b）所示。

割的能量。根据能量最小化，黑色粗线表示图像分割

将所有宏像素中相同位置的子像素提取出来，构成

结果。

11×11幅子孔径图像

I

(s,t)

(x,y)

，每幅图像的像素分辨率

最后调用GCO_GetLabeling（Handle，

i

），获得每个

是379×379，如图6（a）所示。从图中看出边缘子孔径图

像素对应的标签，即像素的深度估计结果。

像较暗，这是由于通过这些孔径的光线较少引起的，若

将其作为实验目标，则会引入大量噪声。因此只考虑位

4算法结果与对比分析

于中间的7×7幅图像，如图6（b）所示。

本文就Lytro1代光场相机拍摄的两幅光场图像进

行实验研究。一幅是包含前后两组积木块的大景深场

景（如图7实验1）；另一幅是景深距离相对较小的仙人

掌图片（如图7实验2）。以MATLAB为主要实验环境，

并借助LytroDesktop软件。依次进行如下操作：（1）子

孔径图像提取，多标签亚像素偏移；（2）建立匹配代价行

为CostVolume；（3）对CostVolume进行引导滤波；

（a）11×11子孔径图像（b）7×7幅子孔径图像

（4）利用GCO3.0工具箱，得到优化后的深度估计图。

图6子孔径图像

最后将本文算法结果与文献[8]作对比。

对所有子孔径图像在频率域进行多标签亚像素偏

4.1光场图像预处理

移。本文亚像素单位偏移量

k=0.02

，标签数

l=75

，即

Lytro相机的微透镜阵列按六边形排列，原始图像

每幅子孔径图像都要进行75次亚像素偏移，得到

如图5（a）所示。图像分辨率为3280×3280。

I

′

(s,t)

(x,y)

。

4.2算法结果分析

参考2.2节介绍的方法，以中心子孔径图像

I

(s

c

,t

c

)

(x,y)

为参考，其中

s

c

=4

，

t

c

=4

。根据公式（4）、（5）、（6）建立

数量为

l

的匹配代价行为

C(x,y,l)

。

（a）原始图像（b）正交图像

假设像素

(x,y)

在标签

l

0

下的匹配代价最小，则将

该像素的深度设为

l

0

。初步深度估计结果如图7（b）所

示，边缘深度已有所体现，但在图像平滑区域出现大量

噪声。

实验1

（c）“宏像素”示例

图5光场图像

Lytro相机的子孔径图像的获取，是对所有微透镜

所覆盖的相同位置的子像素提取；因此，子孔径图像宏

像素大小，是由相机中单个微透镜所覆盖的传感器像素

（a）原图（b）初始估计（c）引导滤波（d）本文结果

实验2

个数决定。不同的光场相机，单个微透镜覆盖的子像素

个数不同；子像素越多，相机获取的实验数据信息越多，

图像分辨率越高，深度估计越准确；反之，则相机获取的

实验数据信息越少，图像分辨率越低，深度估计的误差

越多。

（a）原图（b）初始估计（c）引导滤波（d）本文结果

本文实验中选取的宏像素为Lytro相机单个微透

图7深度估计

镜下覆盖的传感器像素集合，如图5（c）所示（本文中选

为了缓解不可靠匹配并抑制噪声，以中心子孔径图

取的实验相机为第一代Lytro相机，相机序列号为：

像为引导图像，对每个标签下的匹配代价行为

C(x,y,l)

sn-A502390678，运行环境为：Windows8，64位操作系

进行引导滤波，产生对边缘保持良好的

C

′

(x,y,l)

。通过

统）。由于不同生产批号之间的差异，宏像素的大小约

多次实验，其中两个重要参数图像窗口大小

|

w

k

|

=5×5=

孙福盛，韩燮，丁江华，等：LYTRO相机光场图像深度估计算法及重建的研究

2018，54（13）179

25，

ε

=0.0001。根据公式（12）优化深度估计值，实验结

实验结果不理想。图9（c）及图9（d）分别为文献[13]、文

果如图7（c）所示。

献[14]的实验结果，如图可见文献算法在目标物边缘处

l(x,y)=arg

l

minC

′

(x,y,l)

（13）

理方面优于本文算法，如木块边缘、键盘边缘。但在近

利用GCO3.0工具箱进行多标签优化和提高。以

距离目标物的深度恢复方面，如木块前桌面部分，本文

C

′

(x,y,l)

为每个标签到各像素的DataCost，以邻域内像

算法精度优于文献算法。

素之间的颜色差值为Weight，建立像素间的SmoothCost。

结合图像分割算法，进行多标签优化，实验结果如图

7（d）所示。

图7（d）表明本文算法在大景深和小景深场景下都

（a）本文结果（b）文献[8]（c）文献[13]（d）文献[14]

取得了良好的深度估计结果。特别是在实验2中，仙人

结果结果结果

掌各像素深度接近，仍取得了理想的效果，其中，黑色方

图9实验对比

框部分表明该算法对距离较近的点会产生错误的估计

值得一提的是，由于Lytro相机获取的图像分辨率

结果。原因一：去马赛克过程中子孔径图像发生串扰；

低是其致命弱点，本文实验数据是通过单次拍摄对目

原因二：场景通过主透镜、微透镜阵列成像过程中，图像

标实现深度获取及三维重建的。因此，只能通过深度

发生扭曲和变形。

信息得到相对的深度比例数据，在无具体数值参照物

标签数的选取则是算法过程中一个十分重要的环

的情况下，对精细目标进行深度获取时，目标物分辨

节。本文算法中，子孔径图像进行多标签下的亚像素偏

精度可达5mm，即可分辨出间距≥5mm的不同目标物

移，标签的个数是最重要的参数。

l

的取值不仅影响算

或间距≥5mm的不同深度平面，充分体现了该算法的

法的时间和空间复杂度，也决定了最终深度图的精度，

优势。

本文对此参数进行详细分析。对上述实验分别取标签

如表1是几种算法在Matlab环境的运行时间对比。

数25、50、75和100，实验结果如图8所示。

表1时间复杂度对比

算法时间/s

文献[8]算法

2371

本文算法

2209

文献[13]算法

2108

文献[14]算法

2883

5深度重建

在前文的算法验证中，通过分析与对比，对本文算

|

l

|

=25

|

l

|

=50

|

l

|

=75

|

l

|

=100

法进行了可行性证明。本章将基于该算法对拍摄目标

图8

l

取值对结果影响程度

物体进行三维重建。

图8结果表明

|

l

|

较小时，前后场景相对深度对比强

实验过程如图10所示，实验目标选取了复杂度较

烈，时间复杂度低，但有尖锐的边缘；反之，

|

l

|

较大时，

高的鲜花模型，用于充分体现算法在深度获取时的精细

深度图呈现相对平滑的状态，时间复杂度高，但对比不

程度，同时也为下一阶段对Lytro相机深度分辨率的研

明显。这是由于当标签数多时，侧重于保护深度图的连

究做准备。

续性特征。从实际应用角度来说，

|

l

|

对最终结果影响

不大。但从时间复杂度考虑，

|

l

|

最好控制在50~75之间

便可取得理想结果。

4.3算法对比分析

如图9是本文结果与文献[8]、文献[13]、文献[14]的

实验对比结果。文献[8]用数字重聚焦原理产生场景的

图10高复杂度鲜花模型

一系列聚焦深度不同的图像。该算法是一种经典的算

如图11所示，（a）为目标光场图像，（b）为目标子孔

法，但是该算法在数字重聚焦时需要尽可能覆盖场景的

径图像，（c）为目标校正图像，（d）、（e）为目标深度图像。

所有深度范围，因此依赖于参数

α

。

α

取值范围对最终

利用基于VC++的OpenGL和ArcGISEngine工具，

结果影响很大，鲁棒性较差。图8（b）由于无法准确确定

对图11中目标深度图进行表面渲染、纹理映射等重建

参数范围，使得最终结果呈现一片黑或者很暗的情况，

处理，得到了较为精细的重建结果，如图12所示。

1802018，54（13）

ComputerEngineeringandApplications计算机工程与应用

（a）目标光场图像（b）目标子孔径图像（c）目标校正图像（d）目标深度图像（e）目标深度图像

图11重建过程

ProceedingsofAnuualWorkshoponVisionModeling，

andVisualization，Sep2013.

[6]KimC，ZimmerH，PritchY，econstruction

fromhighspatio-angularresolutionlightfields[J].ACM

TransGraph，2013，32（4）.

[7]丁伟利，马鹏程，陆鸣，等.基于先验似然的高分辨光场图

像深度重建算法研究[J].光学学报，2015，35（7）：231-238.

[8]TaoM，HadapS，MalikJ，romcombining

defocusandcorrespondenceusinglight-fieldcameras[C]//

ProceedingsofIEEEInternationalConferenceonComputer

图12重建结果

Vision，2013：673-680.

[9]SabaterN，SeifiM，DrazicV，tedisparity

6结束语

estimationforplenopticimages[C]//ProceedingsofECCV

本文针对Lytro相机光场图像的特殊性和复杂性，

2014Workshops，2014：548-560.

重点研究了Lytro光场图像的深度估计算法，提出了基

[10]杨韬，符文星，王民钢，等.基于光场成像的双目深度图像

于亚像素精度光场图像的深度估计方法。对提出的算

获取[J].西北工业大学学报，2015，33（5）：727-731.

法从理论上进行了研究，并通过实验进行验证；通过对

[11]尹晓艮，张晓芳，张伟超，等.基于光场数字重聚焦的三维

比分析，给出了算法优势及不足；最后，利用算法对目标

重建方法研究[J].光电子·激光，2015，26（5）：986-991.

图像进行三维重建。实验结果表明，该算法在对复杂度

[12]HahneC，AggounA，HaxhaS，neofvirtual

较高的物体进行重建时，解决了重建模糊等问题，有很

camerasacquiredbyastandardplenopticcamerasetup[C]//

好的重建效果。

Proceedingsof20143DTV-Conference：TheTrueVision-

Capture，TransmissionandDisplayof3DVideo，2014：

参考文献：

1-3.

[1]江静，张雪松.基于计算机视觉的深度估计方法[J].光电技

[13]JeonHG，ParkJ，ChoeG，tedepthmap

术应用，2011，26（1）：51-55.

estimationfromalensletlightfieldcamera[C]//Proceedings

[2]肖照林.基于相机阵列的光场成像与深度估计方法研究[D].

of2015IEEEConferenceonComputerVisionandPattern

西安：西北工业大学，2014.

Recognition，2015：1547-1555.

[3]WannerS，lyconsistentdepthlabeling

[14]ChenC，LinH，YuZ，ieldstereomatching

of4Dlightfields[C]//ProceedingsofIEEEConferenceon

usingbilateralstatisticsofsurfacecameras[C]//Procof

ComputerVisionandPatternRecognition，2012：41-48.

IEEEIntConfComputVisPatternRecog，2014：1518-

[4]LiJ，LuM，uousdepthmapreconstruction

1525.

fromlightfields[C]//ProceedingsofIEEEConference

[15]MaZ，HeK，WeiY，nttimeweightedmedian

onMultimediaandExpo，2013：1-6.

filteringforstereomatchingandbeyond[C]//Proceedings

[5]DieboldM，arplaneimagerefocusing

of2013IEEEInternationalConferenceonComputer

forimproveddepthestimationandocclusionhandling[C]//

Vision，2013：49-56.

2024年4月7日发(作者：锁幻露)

ComputerEngineeringandApplications计算机工程与应用

2018，54（13）175

⦾

图形图像处理

⦾

LYTRO相机光场图像深度估计算法及重建的研究

孙福盛，韩燮，丁江华，刘涛

SUNFusheng,HANXie,DINGJianghua,LIUTao

中北大学计算机与控制工程学院，太原030051

SchoolofComputerScienceandControlEngineering,NorthUniversityofChina,Taiyuan030051,China

SUNFusheng,HANXie,DINGJianghua,chonalgorithmofimagedepthestimationandreconstruction

erEngineeringandApplications,2018,54（13）：175-180.

Abstract：Light-fieldcamerimportant

ourseofpracticalresearch,thespatial

informationoftheLytrocameraandtheangleinformationarereusedinthesamesensor,whichleadstothelowresolution

oftheimage,rtosolvethisproblem,thispaperpresentsamethodof

sub-pixelimagedepthestimation,performingthesub-pixelshiftsbasedonmulti-labelofsub-apertureimagesinthe

frequencydomain,euseoftheguidefilter

suppressesnoisewhilekeepingtheedgeoftheimagewell,andmatchingcostbehaviorofmultilabelisoptimized,the

y,thesurfacerenderingandtexturemappingofthetargetdepthmap

areprocessed,erimentalresultsshowthattheproposedalgorithmcansolvethe

problemoffuzzyreconstructioninthereconstructionofcomplexobjectswithgoodperformance.

Keywords：sub-pixelprecision;multi-label;imagematching;graphcut;depthmapestimation;3Dreconstruction

摘要：光场相机目前已广泛应用于消费领域和工业应用领域，利用光场相机对目标物进行深度重建成为了一项重

要的研究课题。在实际研究过程中，Lytro相机空间信息与角度信息复用于同一传感器，导致图像分辨率较低，从而

使得重建效果不甚理想。为解决这一问题，提出了一种亚像素精度的光场图像深度估计方法，在频率域对子孔径图

像进行多标签下的亚像素偏移，以中心视角图像为参照，建立像素匹配代价行为；使用引导滤波抑制噪声的同时保

持了图像边缘；对多标签下的匹配代价行为进行优化，得到精确的深度估计结果。对目标深度图进行表面渲染、纹

理映射等重建处理，得到较为精细的重建结果。实验结果表明，该算法在对复杂度较高的物体进行重建时，解决了

重建模糊等问题，有较好的表现。

关键词：亚像素精度；多标签；图像匹配；图像分割；深度估计；三维重建

文献标志码：A中图分类号：TP391.41doi：10.3778/.1002-8331.1702-0301

1引言

差、运动信息、模糊和纹理梯度等

[2]

。光场去相机能够同

图像的深度估计是计算机视觉研究中的一个基本

时记录到达传感器光线的位置信息和角度信息。仅一

问题，它在机器人学、目标跟踪、场景理解和三维重建中

次拍摄，通过软件处理可以获得场景的多视角图像和重

有着重要作用

[1]

。同人类利用很多视觉线索来感知深度

聚焦图像，视差信息和模糊线索并存，对深度估计极为

一样，图像中也存在很多可利用的深度线索，如双目视

有利，受到业界的极大关注。目前，国内外基于光场图

基金项目：国家自然科学基金（No.61602426，No.61672473）。

作者简介：孙福盛（1988—），男，博士生，CCF会员，研究领域为计算机仿真、虚拟现实，E-mail：sfs2699@；韩燮（1964—），

女，博士，教授，博士生导师，CCF会员，研究领域为计算机仿真、虚拟现实。

收稿日期：2017-02-27修回日期：2017-06-07文章编号：1002-8331（2018）13-0175-06

CNKI网络出版：2017-10-10,/kcms/detail/

1762018，54（13）

ComputerEngineeringandApplications计算机工程与应用

像的深度估计与重建已取得了一些进展。文献[3-7]提

物体主透镜微透镜阵列

传感器

取四维光场的极平面图像（EpipolarPlaneImages，EPI）

宏像素

进行分析，三维场景的一点对应EPI的一条直线，直线

子像素

斜率与深度成比例关系。文献[7]针对EPI的线性结构

特点，提出一种交叉检测模型，用于快速准确地检测图

像的轮廓边缘；采用结构张量对边缘点的深度进行预

A

估，并通过照度一致性得分求取精确的边缘深度。该方

D

d

法对噪声敏感，适用于基线比较大的相机阵列系统，对

基于微透镜阵列的Lytro光场图像不能产生令人满意的

图1Lytro光场相机原理

结果。文献[8]将视差线索和散焦线索相融合，结合马

两个数量级。因此，主透镜聚焦在微透镜阵列上，微透

尔科夫随机场进行优化，在纹理复杂和深度不连续场景

镜阵列聚焦在无穷远处。

下取得了较高质量的深度恢复结果。该方法对重聚焦

如图1所示，由

A

点发出的所有角度的光线经主透

参数依赖性强，鲁棒性不高。文献[9]直接对马赛克子

镜汇聚到其中一个微透镜，继而分散到其后覆盖的若干

孔径图像进行块匹配，避免不同子孔径间的信号干扰。

传感器像元，构成一个宏像素。粗线为来自

A

点某个

该方法产生的深度图呈现阶梯状，精度受到限制。文

角度的光线，只可能到达其中一个子像素。宏像素对应

献[10]提出基于Lytro图像的双目立体测距的方法，选

物点的位置信息，子像素对应角度信息，传感器采用空

取其中两个子孔径图像构成双目立体测距系统，通过

间复用原理记录场景的四维光场信息。

Matlab标定工具箱和OpenCV函数库进行联合标定、立

2.2子孔径图像提取

体校正和立体匹配生成深度图像，对目标物体进行距离

图1中粗线是物体上一点到达主透镜某个子孔径

测量。该方法只使用了100多个子孔径图像中两幅图

的光线，将所有点通过该孔径的光线提取出来，构成了

像进行测距实验，立体匹配及测距精度不高。文献[11]

子孔径图像，如图2所示。图2（a）是传感器平面，高、宽

采用depthfromfocus算法估计场景深度，进行数字重

分别为

Height

和

Width

，宏像素大小

M×N

。将每个

聚焦处理，重构聚焦于不同深度的图像序列，最后用

宏像素中相同位置的子像素提取出来，按相对位置组合

Halcon软件实现三维重建。

成新的图像，即子孔径图像，共

M×N

个，每个子孔径图

文献[12]中提到Lytro相机子孔径图像像素间的偏

像的大小为

(Height/N)×(Width/M)

，如图2（b）所示。

移量在－1~1之间，因此本文提出基于亚像素精度的光

M

场图像深度重建，算法分为以下几步：（1）设置不同偏移

N

………

标签，对子孔径图像在频率域内进行不同程度的亚像素

Height

………

…

偏移。（2）以中心子孔径图像为参照，建立像素匹配代价

………

行为CostVolume。（3）对CostVolume进行引导滤波保

…

………

持图像边缘。（4）利用GCO工具箱，结合图像分割，对

Width

………

………

CostVolume进行优化产生精确的深度估计结果。（5）三

（a）传感器宏像素大小（b）子孔径图像提取

维重建。

图2子孔径图像提取

本文算法创新性可总结为两个方面：（1）在频率域

子孔径图像等价于减小主透镜孔径大小之后对场

内进行不同程度的亚像素偏移，提高算法精度及实验结

景的成像，景深相对于原始图像增大。子孔径图像是从

果精度；（2）通过引导滤波的方法保护目标物边缘信息，

不同视角采集的图像，不过相邻两个视角的图像视差在

以获得优质的算法效果。

一个像素之内，因此本文提出基于亚像素精度的光场图

像深度估计。

2光场子孔径图像提取

2.1光场成像原理

3深度估计

与传统相机相比，Lytro光场相机在主透镜与传感

3.1子孔径图像亚像素偏移

器之间插入微透镜阵列，每个微透镜下覆盖若干传感器

四维光场表示为

L(x,y,s,t)

，

(s,t)

是子孔径图像索

像素，如图1所示。

引，

(x,y)

是图像坐标。除中心视角外，对每个子孔径图

微透镜阵列与主透镜的距离

D≈F

m

，微透镜阵列

像

I

(s,t)

(x,y)

在频率域进行多标签的亚像素偏移。

与传感器的距离

d=f

m

，其中

F

m

、

f

m

分别为主透镜和

根据相移理论，图像在空间域偏移

(Δx,Δy)

时，对

微透镜的焦距，

F

m

=6.45mm

，

f

m

=25μm

，两者相差

应的频率域的变换为：

孙福盛，韩燮，丁江华，等：LYTRO相机光场图像深度估计算法及重建的研究

2018，54（13）177

F{I

(s,t)

(x+Δx,y+Δy)}=

立的匹配代价，公式（6）则是比较梯度差异。

λ

是协调

F{I

2πΔxΔy

(s,t)

(x,y)}exp(s

c

,t

c

)∉(s,t)

（1）

两个梯度方向的比重，定义为：

ì

í

Δx=kl(s-s

c

)

λ(s,t)=

|s-s

î

Δy=kl(t-t

|+|t-t

c

)

（2）

|s-s

c

|

cc

|

（7）

其中，

F{⋅}

是二维离散傅里叶变换；

Δx、Δy

是像素偏

最后根据公式（4）建立多标签下的像素匹配代价行

移量；

k

是亚像素单位偏移量，设为0.02；

l

是偏移倍数，

为

C(x,y,l)

。

即标签数，为了保证精度，

l

个数一般大于20；若

l

小于

3.3引导滤波

20，则精度极剧下降。

(s

引导滤波是近几年才出现的滤波技术，是一种同时

c

,t

c

)

是中心子孔径索引值，视角

离中心越远，图像偏移量越大。

考虑了像素空间差异和强度差异的滤波器，具有保持图

亚像素偏移图像

I

′

像边缘的特性

[13]

。引导滤波用到了局部线性模型，即输

(s,t)

(x,y)

根据公式（3）获得：

I

′

(s,t)

(x,y)=I

出图像与输入图像在一个图像窗口内满足线性关系。

(s,t)

(x+Δx,y+Δy)=

(x,y)

为引导图像，采用

F

-1

{F{I

2πΔxΔy

以中心子孔径图像

I=I

(s

}

（3）

c

,t

c

)

(s,t)

(x,y)}exp

引导滤波器对每个匹配代价行为

C(x,y)

进行滤波（固定

图3分别对子孔径图像在空间域进行双线性插值

标签

l

）。在窗口

w

k

内，输出图像

C

′

k

(x

i

,y

i

)

定义为：

平移（3（b））和频率域进行像素偏移（3（c））。局部放大

C

′

k

(x

i

,y

i

)=a

k

C

k

(x

i

,y

i

)+b

k

，

(x

i

,y

i

)∈w

k

（8）

结果表明：双线性插值产生模糊现象，频率域操作产生

的图像更清晰，更尖锐。为了保证后续计算匹配代价行

其中：

为的准确度，精确的偏移图像至关重要，尤其是对于基

a

|

1

w

I

k

(x

i

,y

i

)C

k

(x

i

,y

-

----------

k

|

(x

∑

i

)-

I

k

C

k

(x

i

,yi)

k

=

i

,y

i

)∈w

k

线极小的Lytro子孔径图像。

（9

b

k

=

-

σ

k

+ε

）

C

--

k

(

---

x

-

i

-

,y

--

i

)-a

k

-

I

k

（10）

σ

k

是引导图

I

在图像窗口的方差。

|

w

k

|

表示窗口大小，

ε

用于防止

a

k

过大，两者是调节滤波器滤波效果的重要

参数。

a

k

的分子是引导图像和待滤波图像的协方差，

本文利用文献[14]高效率的盒式滤波器使求和运算的

复杂度降低到

O(1)

。利用方差和期望的关系公式（11），

可用盒式滤波计算得到：

-

a

i

、

-

b

i

以及

σ

k

的值。

（a）原始图像（b）双线性插值（c）频率域像素偏移

DX=E(X

2

)-(EX)

2

（11）

图3图像偏移

一个像素可能同时落到数个窗口内，因此输出值

C

′

(x

i

,y

i

)

取多个窗口的平均值，如公式（12）所示：

3.2建立匹配代价行为

子孔径图像执行偏移操作之后，以中心孔径图像

C

′

(x

i

,y

i

)=

1

k

∑

(a

k

C

k

(x

i

,y

i

)+b

k

)=

-

a

i

C(x

i

,y

i

)+

-

b

（

i

12）

为参考，分别对每个标签建立像素匹配代价行为Cost

使用引导滤波器对各个标签的匹配代价行为进行

Volume。此过程考虑两方面的像素差异，灰度差值

C

A

滤波，得到边缘保持良好的滤波结果

C

′

(x,y,l)

。

和梯度差值

C

G

。匹配代价函数

C

是像素

(x,y)

和标签

3.4GCO优化

l

的函数，即：

GCO（GraphCutOptimization）是一款计算机视觉

C(x,y,l)=αC

A

(x,y,l)+(1-α)C

G

(x,y,l)

（4）

研究机构研发的工具箱，主要研究基于多标签的图像分

其中

α

是权衡两者比重的参数，一般设0.5。

C

A

和

C

G

割优化算法

[15]

。原理过程如图4所示。

分别定义为：

l

1

l

2

C

A

(x,y,l)=I

(s)

(x,y)-I

′

(s,t)

(x,y)|,τ

标签

1

)

（5）

(s,t

∑

min(|

)∈V

c

,t

c

CostVolume

C

G

(x,y,l)=

∑

(λ(s,t)min(Diff

)∈V

x

(x,y),τ

2

)+

(s,t

Weights*SmoothCost

(1-λ(s,t))min(Diff

y

(x,y),τ

2

))

（6）

其中

τ

1

、

τ

2

是为鲁棒性设置的阈值，

V

是除中心孔径外

像素

所有子孔径图像的索引集合，

x

方向梯度差异定位为：

图4GCO原理

Diff(x,y)=I

(s

c

,t

c

)

x

(x,y)-I

′

(s,t)

x

(x,y)

，

y

方向相似。公式（5）

图4中只画出了两个标签的情况。其中绿色和紫

通过比较中心孔径图像和其他子孔径图像像素差异建

色是像素分别在两个标签下的匹配代价行为，在本文中

1782018，54（13）

ComputerEngineeringandApplications计算机工程与应用

指

C

′

(x,y,l)

；红色线表示像素邻域间的边权值，一般取为：10×10个像素。

两者的颜色差值，若不相邻则取0。

对原始图像进行校正得到正交排列的宏像素。本

把所有需要断裂的点与点之间边的权值和未断裂

文实验中，宏像素共379×379个，每个宏像素大小为11×

的点与标签之间连接的边的权值加起来认为是最后切

11个像素。如图5（b）所示。

割的能量。根据能量最小化，黑色粗线表示图像分割

将所有宏像素中相同位置的子像素提取出来，构成

结果。

11×11幅子孔径图像

I

(s,t)

(x,y)

，每幅图像的像素分辨率

最后调用GCO_GetLabeling（Handle，

i

），获得每个

是379×379，如图6（a）所示。从图中看出边缘子孔径图

像素对应的标签，即像素的深度估计结果。

像较暗，这是由于通过这些孔径的光线较少引起的，若

将其作为实验目标，则会引入大量噪声。因此只考虑位

4算法结果与对比分析

于中间的7×7幅图像，如图6（b）所示。

本文就Lytro1代光场相机拍摄的两幅光场图像进

行实验研究。一幅是包含前后两组积木块的大景深场

景（如图7实验1）；另一幅是景深距离相对较小的仙人

掌图片（如图7实验2）。以MATLAB为主要实验环境，

并借助LytroDesktop软件。依次进行如下操作：（1）子

孔径图像提取，多标签亚像素偏移；（2）建立匹配代价行

为CostVolume；（3）对CostVolume进行引导滤波；

（a）11×11子孔径图像（b）7×7幅子孔径图像

（4）利用GCO3.0工具箱，得到优化后的深度估计图。

图6子孔径图像

最后将本文算法结果与文献[8]作对比。

对所有子孔径图像在频率域进行多标签亚像素偏

4.1光场图像预处理

移。本文亚像素单位偏移量

k=0.02

，标签数

l=75

，即

Lytro相机的微透镜阵列按六边形排列，原始图像

每幅子孔径图像都要进行75次亚像素偏移，得到

如图5（a）所示。图像分辨率为3280×3280。

I

′

(s,t)

(x,y)

。

4.2算法结果分析

参考2.2节介绍的方法，以中心子孔径图像

I

(s

c

,t

c

)

(x,y)

为参考，其中

s

c

=4

，

t

c

=4

。根据公式（4）、（5）、（6）建立

数量为

l

的匹配代价行为

C(x,y,l)

。

（a）原始图像（b）正交图像

假设像素

(x,y)

在标签

l

0

下的匹配代价最小，则将

该像素的深度设为

l

0

。初步深度估计结果如图7（b）所

示，边缘深度已有所体现，但在图像平滑区域出现大量

噪声。

实验1

（c）“宏像素”示例

图5光场图像

Lytro相机的子孔径图像的获取，是对所有微透镜

所覆盖的相同位置的子像素提取；因此，子孔径图像宏

像素大小，是由相机中单个微透镜所覆盖的传感器像素

（a）原图（b）初始估计（c）引导滤波（d）本文结果

实验2

个数决定。不同的光场相机，单个微透镜覆盖的子像素

个数不同；子像素越多，相机获取的实验数据信息越多，

图像分辨率越高，深度估计越准确；反之，则相机获取的

实验数据信息越少，图像分辨率越低，深度估计的误差

越多。

（a）原图（b）初始估计（c）引导滤波（d）本文结果

本文实验中选取的宏像素为Lytro相机单个微透

图7深度估计

镜下覆盖的传感器像素集合，如图5（c）所示（本文中选

为了缓解不可靠匹配并抑制噪声，以中心子孔径图

取的实验相机为第一代Lytro相机，相机序列号为：

像为引导图像，对每个标签下的匹配代价行为

C(x,y,l)

sn-A502390678，运行环境为：Windows8，64位操作系

进行引导滤波，产生对边缘保持良好的

C

′

(x,y,l)

。通过

统）。由于不同生产批号之间的差异，宏像素的大小约

多次实验，其中两个重要参数图像窗口大小

|

w

k

|

=5×5=

孙福盛，韩燮，丁江华，等：LYTRO相机光场图像深度估计算法及重建的研究

2018，54（13）179

25，

ε

=0.0001。根据公式（12）优化深度估计值，实验结

实验结果不理想。图9（c）及图9（d）分别为文献[13]、文

果如图7（c）所示。

献[14]的实验结果，如图可见文献算法在目标物边缘处

l(x,y)=arg

l

minC

′

(x,y,l)

（13）

理方面优于本文算法，如木块边缘、键盘边缘。但在近

利用GCO3.0工具箱进行多标签优化和提高。以

距离目标物的深度恢复方面，如木块前桌面部分，本文

C

′

(x,y,l)

为每个标签到各像素的DataCost，以邻域内像

算法精度优于文献算法。

素之间的颜色差值为Weight，建立像素间的SmoothCost。

结合图像分割算法，进行多标签优化，实验结果如图

7（d）所示。

图7（d）表明本文算法在大景深和小景深场景下都

（a）本文结果（b）文献[8]（c）文献[13]（d）文献[14]

取得了良好的深度估计结果。特别是在实验2中，仙人

结果结果结果

掌各像素深度接近，仍取得了理想的效果，其中，黑色方

图9实验对比

框部分表明该算法对距离较近的点会产生错误的估计

值得一提的是，由于Lytro相机获取的图像分辨率

结果。原因一：去马赛克过程中子孔径图像发生串扰；

低是其致命弱点，本文实验数据是通过单次拍摄对目

原因二：场景通过主透镜、微透镜阵列成像过程中，图像

标实现深度获取及三维重建的。因此，只能通过深度

发生扭曲和变形。

信息得到相对的深度比例数据，在无具体数值参照物

标签数的选取则是算法过程中一个十分重要的环

的情况下，对精细目标进行深度获取时，目标物分辨

节。本文算法中，子孔径图像进行多标签下的亚像素偏

精度可达5mm，即可分辨出间距≥5mm的不同目标物

移，标签的个数是最重要的参数。

l

的取值不仅影响算

或间距≥5mm的不同深度平面，充分体现了该算法的

法的时间和空间复杂度，也决定了最终深度图的精度，

优势。

本文对此参数进行详细分析。对上述实验分别取标签

如表1是几种算法在Matlab环境的运行时间对比。

数25、50、75和100，实验结果如图8所示。

表1时间复杂度对比

算法时间/s

文献[8]算法

2371

本文算法

2209

文献[13]算法

2108

文献[14]算法

2883

5深度重建

在前文的算法验证中，通过分析与对比，对本文算

|

l

|

=25

|

l

|

=50

|

l

|

=75

|

l

|

=100

法进行了可行性证明。本章将基于该算法对拍摄目标

图8

l

取值对结果影响程度

物体进行三维重建。

图8结果表明

|

l

|

较小时，前后场景相对深度对比强

实验过程如图10所示，实验目标选取了复杂度较

烈，时间复杂度低，但有尖锐的边缘；反之，

|

l

|

较大时，

高的鲜花模型，用于充分体现算法在深度获取时的精细

深度图呈现相对平滑的状态，时间复杂度高，但对比不

程度，同时也为下一阶段对Lytro相机深度分辨率的研

明显。这是由于当标签数多时，侧重于保护深度图的连

究做准备。

续性特征。从实际应用角度来说，

|

l

|

对最终结果影响

不大。但从时间复杂度考虑，

|

l

|

最好控制在50~75之间

便可取得理想结果。

4.3算法对比分析

如图9是本文结果与文献[8]、文献[13]、文献[14]的

实验对比结果。文献[8]用数字重聚焦原理产生场景的

图10高复杂度鲜花模型

一系列聚焦深度不同的图像。该算法是一种经典的算

如图11所示，（a）为目标光场图像，（b）为目标子孔

法，但是该算法在数字重聚焦时需要尽可能覆盖场景的

径图像，（c）为目标校正图像，（d）、（e）为目标深度图像。

所有深度范围，因此依赖于参数

α

。

α

取值范围对最终

利用基于VC++的OpenGL和ArcGISEngine工具，

结果影响很大，鲁棒性较差。图8（b）由于无法准确确定

对图11中目标深度图进行表面渲染、纹理映射等重建

参数范围，使得最终结果呈现一片黑或者很暗的情况，

处理，得到了较为精细的重建结果，如图12所示。

1802018，54（13）

ComputerEngineeringandApplications计算机工程与应用

（a）目标光场图像（b）目标子孔径图像（c）目标校正图像（d）目标深度图像（e）目标深度图像

图11重建过程

ProceedingsofAnuualWorkshoponVisionModeling，

andVisualization，Sep2013.

[6]KimC，ZimmerH，PritchY，econstruction

fromhighspatio-angularresolutionlightfields[J].ACM

TransGraph，2013，32（4）.

[7]丁伟利，马鹏程，陆鸣，等.基于先验似然的高分辨光场图

像深度重建算法研究[J].光学学报，2015，35（7）：231-238.

[8]TaoM，HadapS，MalikJ，romcombining

defocusandcorrespondenceusinglight-fieldcameras[C]//

ProceedingsofIEEEInternationalConferenceonComputer

图12重建结果

Vision，2013：673-680.

[9]SabaterN，SeifiM，DrazicV，tedisparity

6结束语

estimationforplenopticimages[C]//ProceedingsofECCV

本文针对Lytro相机光场图像的特殊性和复杂性，

2014Workshops，2014：548-560.

重点研究了Lytro光场图像的深度估计算法，提出了基

[10]杨韬，符文星，王民钢，等.基于光场成像的双目深度图像

于亚像素精度光场图像的深度估计方法。对提出的算

获取[J].西北工业大学学报，2015，33（5）：727-731.

法从理论上进行了研究，并通过实验进行验证；通过对

[11]尹晓艮，张晓芳，张伟超，等.基于光场数字重聚焦的三维

比分析，给出了算法优势及不足；最后，利用算法对目标

重建方法研究[J].光电子·激光，2015，26（5）：986-991.

图像进行三维重建。实验结果表明，该算法在对复杂度

[12]HahneC，AggounA，HaxhaS，neofvirtual

较高的物体进行重建时，解决了重建模糊等问题，有很

camerasacquiredbyastandardplenopticcamerasetup[C]//

好的重建效果。

Proceedingsof20143DTV-Conference：TheTrueVision-

Capture，TransmissionandDisplayof3DVideo，2014：

参考文献：

1-3.

[1]江静，张雪松.基于计算机视觉的深度估计方法[J].光电技

[13]JeonHG，ParkJ，ChoeG，tedepthmap

术应用，2011，26（1）：51-55.

estimationfromalensletlightfieldcamera[C]//Proceedings

[2]肖照林.基于相机阵列的光场成像与深度估计方法研究[D].

of2015IEEEConferenceonComputerVisionandPattern

西安：西北工业大学，2014.

Recognition，2015：1547-1555.

[3]WannerS，lyconsistentdepthlabeling

[14]ChenC，LinH，YuZ，ieldstereomatching

of4Dlightfields[C]//ProceedingsofIEEEConferenceon

usingbilateralstatisticsofsurfacecameras[C]//Procof

ComputerVisionandPatternRecognition，2012：41-48.

IEEEIntConfComputVisPatternRecog，2014：1518-

[4]LiJ，LuM，uousdepthmapreconstruction

1525.

fromlightfields[C]//ProceedingsofIEEEConference

[15]MaZ，HeK，WeiY，nttimeweightedmedian

onMultimediaandExpo，2013：1-6.

filteringforstereomatchingandbeyond[C]//Proceedings

[5]DieboldM，arplaneimagerefocusing

of2013IEEEInternationalConferenceonComputer

forimproveddepthestimationandocclusionhandling[C]//

Vision，2013：49-56.