2024年4月16日发(作者：贺梦秋)
浙江理工大学学报(自然科学版)第
3
第
4
期,,
3
卷,
2015
年
7
月
)
JournalofZheianci-TechUniversitNaturalSciences
jg
S
y
(
,,
Vol.33No.4Jul.2015
)文章编号:
1673-3851
(
201504-0552-06
一种基于
L-M
算法的
RANSAC
图像拼接算法
姚佳宝,田秋红,陈本永
()浙江理工大学精密测量技术实验室,杭州
310018
,算法拼接技术中的准确性问题,
randomsamleconsensusRANSAC
)
摘
要:针对现有的基于随机取样一致(
p
,提出一种基于莱文伯马克特(算法的
R-levenher-maruardtL-M
)
ANSAC
算法。首先根据提取到的特征点运用
gq
然后运用
L
获得了准确性较
RANSAC
算法得到初始单应矩阵和最优匹配点集,
-M
算法对初始单应矩阵加以改进,
高的单应矩阵,从而实现图像的准确配准。以近距离、大视场的典型图像进行了拼接验证,结果表明:该算法既克服
了传统
L
又克服了
R-M
算法所带来的误匹配问题,
ANSAC
算法因不确定度所带来的准确性较低的问题。该算法拼
误匹配率低,同时可消除具有重复纹理图像的不正确拼接。接准确度高,
关键词:图像配准;图像拼接;特征提取;
RANSAC
算法;
L-M
算法
中图分类号:
TP317.4A
文献标志码:
]
9
结果
[
在一些特征点较少或者不均匀的图像中,普,
0
引
言
图像拼接技术随着计算机水平的提高在很多领
域有了广泛的应用,如大型建筑物、宇宙空间探测、
海底勘测和医学等方面图像拼接仍是重要研究课
题。目前,关于图像拼接技术的主要方法有基于频
]
1
基于模版匹配法和基于特征法等
[
域变换法、。基
通
RANSAC
算法并不能满足获得高质量拼接图像
的要求。
一般图像拼接主要分为
5
个步骤如图
1
所示:
图像采集、特征提取、特征匹配、图像配准、图像
融合。
于频域变化的方法准确率比较高,但容易受噪声的
影响。基于模版匹配的方法较为简单,但是它计算
容易受光照、变形等因素的影响,所以并不适量大,
]
2-4
合单调景物的拼接
[
。基于特征法的方法是选择
图
1
图像拼接算法流程
图像拼接的关键是图像配准过程中单应矩阵的
求解,其求解过程是先分别从两幅图像寻找特征点,
根据提取到的特征点创建描述子,基于描述子得到
两幅图像间的匹配点完成图像间的匹配。故本文在
0
,通过特
RANSAC
算法的基础上引入
L-M
算法
1
征点的匹配关系提出了一种新的单应矩阵求解方
[]
某些特殊的点,对它们进行局部分析,因此它的区分
]
5-8
度很高,并且具有精确定位的稳定特性
[
特征点,
不受亮度和光照的影响,然而在检测器检测精度高,
参数求解的准确性方面仍然存在不足,因此对于参
数求解尤其是单应矩阵准确性的提高是一个重要研
究方向
。
例如
,
RANSAC
算法可以从一组包含局外
点的观测数据集中,通过迭代方式估计数学模型的
参数,得到一个优质的匹配点集,然而它是一种不确
定的算法,因为它是由一定的概率得出一个合理的
收稿日期:
2014-10-20
基金项目:国家自然科学基金项目()
51405448
法,首先通过
S
接着运用
URF
算子进行特征提取,
双向匹配的原则剔除误匹配点,并根据现有的特征
点运用
RANSAC
法则得到初始的单应矩阵和内
点,然后根据提取到的内点运用
L-M
法则得到最终
的单应矩阵,最后对其算法进行图像拼接验证。
作者简介:姚佳宝(,女,河北邢台人,硕士研究生,主要从事精密视觉测量技术方面的研究。
1993-
)
通信作者:田秋红,:
@qg
第
4
期
姚佳宝等:一种基于
L-M
算法的
RANSAC
图像拼接算法
553
1
图像特征提取与匹配
1.1
特征点提取
本文对于特征点提取采用鲁棒性较好的基于尺
度空间理论的
SURF
特征提取法
[
11
-
12
]
,该尺度空间
内特征点提取是通过在坐标点
x
处
Hessian
矩阵
[
L
xx
(
x
,
σ
)
L
x
y
(
x
,
σ
)
L
x
y
(
x
,
σ
)
L
yy
(
x
,
σ
)
]
,利用公式(
1
)来判断此点是
否为极值:
h
=
L
xx
×
L
yy
-
(
ε
L
x
y
)
2
(
1
)
式中
L
xx
(
x
,
σ
)、
L
x
y
(
x
,
σ
)和
L
yy
(
x
,
σ
)分别表示点
x
在不同方向上与
Gaussian
二阶偏导数的卷积,
σ
为
卷积核,
ε
为补偿函数,通常取
0.9
[
11
-
12
]
。
对于
SURF
特征点的确定,首先要构建多层金
字塔图像,然后使用如图
2
所示
3×3×3
的模板在
三维尺度空间进行非最大化抑制,根据预设的
Hessian
阈值
H
,当
h
大于
H
时,且比尺度空间内
临近的
26
个点(如图
2
所示)的响应值都大的点才
被选为特征点,记为
X
i
(
i
=0
,
1
,
2
,
3
…
n
)。
图
2
特征点确定
1.2
特征点描述
对于上述所提取到的
SURF
特征点
X
i
的描述
过程如下:
首先是以特征点为中心,将
20
σ
×20
σ
的矩形区
域图像划分成
4×4
子块,每个子块利用尺寸
2
σ
的
Haar
小波模板进行响应计算,最后对响应值
∑
d
x
、
∑
d
x
、
∑
d
y
∑
d
y
进行统计形成特
征矢量
p
i
。
1.3
特征点匹配
对由
SURF
算法提取的特征点
X
i
进行匹配。
为得到高精度的图像匹配点,本文采用基于欧氏距
离和双向匹配结合的特征点匹配算法。该算法先用
欧氏距离法对参考图和目标图的特征点集进行筛
选,生成
matches
1
和
matches
2
,然后运用双向匹配
法对其进行高精度匹配点对的提取。算法如下:
a
)利用所得到的目标图像的特征点
X
i
,计算
它到参考图像像所有特征点
X
j
(
j
=0
,
1
,
2
,…,
n
;
n
为特征点的个数)的欧氏距离,如公式(
2
)所示,得到
一个距离集合
Dis
i
j
。
Dis
i
j
=
[
n
式中,
X
∑
(
X
ik
-
X
j
k
)
2
]
(
2
)
k
=
0
ik
表示目标图中第
i
个特征矢量
p
i
的第
k
个
元素,
X
j
k
是参考图中第
j
个特征矢量
p
j
的第
k
个
元素,
n
表示特征矢量
p
i
的维数。
h
)对
Dis
i
j
内的数据进行比较运算得到最小欧
氏距离
d
min
和次最小欧式距离
d'
min
。设定一个阈值
hreshold
(一般取
0.8
～
0.95
,本文取
0.8
),当
(
d
min
/
d'
min
)
<
threshold
时,保留此特征点并生成匹
配点集
matches
1
。
c
)计算参考图特征点到目标图所有特征点的
欧式距离,并按上述
a
)、
b
)两步对参考图的特征点
进行筛选生成匹配点集
matches
2
。
d
)利用双向匹配算法对匹配点集
matches
1
和
atches
2
进行提取,生成最终的匹配点集
matches
。
以近距离拍摄的两幅大型客车作为匹配对象,
如图
3
所示。灰点表示初始提取到的特征点,由直
线所连接的白色的点对表示经过优化和双向匹配原
则所提取到的最终特征匹配点对。
图
3
匹配点对
图像配准
对匹配点集
matches
进行几何变换运算,如公
式(
3
)所示。
U
i
u
j
m
0
m
1
m
2
u
j
V
i
=
Hv
j
=
m
3
m
4
m
5
v
j
(
3
)
1
1
m
6
m
7
m
8
1
式中:
H
表示单应矩阵,(
U
i
,
V
i
)表示
matches
中参
考图像点的坐标,(
u
i
,
v
i
)表示
matches
中目标图像
点对应的坐标。
单应矩阵
H
表示两幅图像之间的位置变换关
系,它的准确性直接影响拼接质量的好坏。本文提
出了改进的
RANSAC
算法,该算法先采用
RANSAC
t
m
2
554
浙
江
理
工
大
学
学
报
2015
年
第
33
卷
算法获得高精度内点集
S
'
i
和初始矩阵
H'
i
,再引入
L-M
算法利用内点集
S'
i
对初始单应矩阵
H'
i
进行
优化。
2.1
RANSAC
算法
对两幅大型客车图像的拼接过程中,本文采用
RANSAC
算法保留内点剔除外点,反复从上述特征
匹配点集
matches
中选取一个最基本的子集,计算
出单应矩阵,再由所求出的单应矩阵判断所选取的
子集是否能够达到给定置信概率及误差范围,其主
要过程如下:
a
)根据实验需要,首先确定置信概率(本文取
0.96
),它决定了迭代的次数
k
,然后确定阈值
thre
0
(本文取
2
)。
h
)从匹配点对中随机选取
4
个样本点对,利用
8
个点求取图像间的临时单应矩阵
H
i
。
c
)根据临时单应矩阵
H
i
计算剩余样本点对到
极线的距离
d
i
(
X
i
H
i
X'
i
),若
d
i
<
thre
0
,则将此样本
点加入点集
S
i
,其与极线的距离加入
D
i
。
d
)
i
=
i
+1
,若
i
<
k
,则返回
h
),否则执行第五步。
e
)在完成一定的抽样次数后,选取点集
S
i
中
点数最多的点集为内点集
S'
i
,并记录此时
H
i
记为
初始单应矩阵
H'
i
,对应的距离集合
D
i
记为
D'
i
。
2.2
L-M
算法
采用
RANSAC
算法得到的
H'
i
是随机选取匹
配点产生的,并不是满足匹配点集
S'
i
的最优解。
因此本文利用
L-M
算法对初始单应矩阵
H'
i
进一
步优化,得到满足匹配点集
S'
i
的最优解
H
i
。具体
算法如下:
a
)首先利用上一步
RANSAC
算法得到的单应
矩阵
H'
i
变换成列向量作为初始迭代矩阵
H
0
,即
H
0
=
(
m
0
,
m
1
…
m
7
)
T
,然后选取
D'
i
中距离最小的
八对点记为(
U
0
,
V
0
)(
U
1
,
V
1
)…(
U
7
,
V
7
)和(
u
0
,
v
0
)
(
u
1
,
v
1
)…(
u
7
,
v
7
);
h
)给出误差允许值
ε
(本文取
3
个像素),试探
性常数
μ
和
β
(本文分别取
0.005
和
10
),令
k
=0
;
c
)根据
H
k
生成新的目标图像,
e
i
2
并求取误差
指标函数
E
(
H
k
);
N
E
(
H
k
)
=
1
2
∑
[(
U'
i
-
U
i
)
2
+
(
V'
i
-
V
i
)
2
]
i
=
0
1
N
=
2
∑
e
i
2
(
H
)
=
1
e
(
H
)
T
(
e
)(
H
)
i
=
1
2
式中:(
U
i
,
V
i
)为参考图像的坐标,(
U'
i
,
V'
i
)为经过
矩阵
H
k
所构成的单应矩阵和目标图像点(
u
i
,
v
i
)坐
标由公式(
3
)计算得到参考图像的坐标,
N
为所选
取的点的个数。
d
)根据公式(
4
)、(
5
)计算
H
k
+1
;
H
k
+1
=
H
k
+
Δ
H
(
4
)
Δ
H
=
[
J
T
(
H
)
J
(
H
)
+
μ
I
]
-1
J
T
(
H
)
e
(
H
)(
5
)
式中,
e
(
H
)为误差指标函数中
e
i
(
H
)形成的列向
量,即:(
e
1
(
H
),
e
2
(
H
),…
e
N
(
H
))
T
;
I
为单位矩阵;
J
(
H
)为
e
(
H
)的
Jacohian
矩阵,即:
e
1
(
H
)
m
…
e
1
(
H
)
0
m
N
J
(
H
)
=
.
e
N
(
H
)
…
e
N
(
H
)
m
0
m
N
e
)若
E
(
H
k
)
<
ε
,则停止输出
H
k
,否则继续下
一步;
f
)计算
E
(
H
k
+1
),若误差指标函数逐渐降低,即
E
(
H
k
+1
)
<
E
(
H
k
),则使
μ
降低,即
μ
=
μ
/
β
,
k
=
k
+1
,
返回
c
),否则增加
μ
,即
μ
=
μ
×
β
,
k
=
k
+1
返回
c
)。
3
图像融合
为了有效地消除拼接图像的拼接痕迹,本文采
用高斯金字塔和拉普拉斯金字塔进行图像融合,利
用重叠区域内图像构造高斯金字塔作为加权系数,
并对
2
幅图像在拉普拉斯尺度空间内进行融合,从
而得到无拼接痕迹的拼接图像。
综上所述,改进的
RANSAC
图像拼接算法流
程如图
4
所示,首先通过
SURF
算子提取
2
幅图像
的特征点,基于欧式距离筛选得到初始匹配点
matches
1
和
matches
2
,将符合双向匹配原则的点对
图
4
改进的图像拼接算法流程
第
4
期
姚佳宝等:一种基于
L-M
算法的
RANSAC
图像拼接算法
555
记为匹配点集
matches
,否则,此点对被删除;然后
利用
RANSAC
算法得到单应矩阵
H'
i
和最优点集
S'
i
,基于点集
S'
i
用
L-M
算法对
H'
i
进行优化,得
到最终单应矩阵以此用来对图像进行配准,最后利
用金字塔法对图像进行融合,得到完整的拼接图像。
4
实验结果与分析
为了验证本文提出的拼接算法,利用数码相机
(
Canon
:
EOS-600D
)近距离拍摄大型客车图像为目
标对象,在拍摄过程中焦距保持不变,图像尺寸
776
×934
像素,采用
MicrosoftVisualStudio2010
开
发工具编写算法程序,图
5
为参考图,图
6
为目标图
像,图
7
为未改进的
RANSAC
算法得到拼接图像,
图
8
为本文提出算法得到的拼接图像。在视觉效果
图
5
平移参考图
图
6
平移目标图
图
7
未改进算法拼接图像
上由图
7
、图
8
可知:利用未改进算法得到的拼接图
像存在明显的拼接痕迹,而本文提出的算法得到的
拼接图像无拼接痕迹,而且在背景重复纹理处并没
有伪拼接现象,拼接效果好,拼接准确性高。
图
8
改进算法拼接图
为了验证本文算法对于旋转图像拼接的有效
性,对于将
2
幅大型客车图像进行旋转拍摄,如图
、图
10
所示,图
11
为传统
RANSAC
算法进行拼
接之后的图像,图
12
为改进算法之后的图像,由图
1
可知,未改进的算法对于旋转图像的拼接造成了
较大的失真,而图
12
并不存在明显的拼接痕迹,且
重叠区域过渡平滑。由此可知,经过改进之后的算
法无论是对于相机平移拍摄的图像
,还是对于相机
旋转的图像都具有良好的拼接效果。
图
9
旋转参考图
图
10
旋转目标图
9
1
556
浙
江
理
工
大
学
学
报
2015
年
第
33
卷
图
11
未改进算法拼接图像
图
12
改进算法拼接图
为了验证本文算法在拼接大视场图像方面的有
效性,将相机旋转近距离拍摄了
11
层高的浙江理工
大学图书馆两幅图像,如图
13
、图
14
所示,图像尺
寸为
648×432
像素,经本文提出的拼接算法处理
后,拼接形成的浙江理工大学图书馆全景图如图
15
所示,该拼接图像既没有明显的拼接痕迹也没有图
像失真现象。实验证明,本文所采用的拼接算法无
论是在近距离小范围的平移图像拼接还是对于较大
视场旋转图像都具有良好拼接效果。
图
13
图书馆参考图
图
14
图书馆目标图
图
15
图书馆全景图
图像的梯度反映了图像的纹理变化特征,拼接处
的图像梯度越小则拼接效果越好。故本文以拼接位
置的像素点为中心,采用
3×3
像素的图像区域计算
拼接位置像素点的水平方向平均梯度大小,如式(
6
)
所示:
i
+
M
/
2
j
+
N
/
2
x
,
-
(
f
(
x
+
1
,
i
,
j
)
=
x
=
∑
i
-
M
/
2
y
=
∑
f
(
y
)
y
)
j
-
N
/
2
M
×
N
(
6
)
式中:
M
、
N
表示窗口的大小,本文取
3
,
f
(
x
,
y
)表示
图像像素值的大小。
据式(
6
)分别计算了传统
RANSAC
算法与本
文算法拼接后的图像在拼接位置的横向平均梯度
值,如表
1
所示。从表
1
中可得:本文所采用的算法
在拼接位置的横向平均梯度明显小于
RANSAC
算
法的横向平均梯度,故拼接效果好,拼接准确性高。
表
1
不同算法横向梯度平均值
算法
平移客车旋转客车图书馆
图像图像图像
RANSAC
算法
0.331.781.56
本文算法
0.120.230.21
结
语
本文提出一种基于
L-M
算法的
RANSAC
算
法,较好地解决了基于特征法的图像拼接算法中
存在的参数求解准确性较低的问题,描述了本文
提出的拼接算法的特征点提取、图像匹配和融合,
以两种不同的近距离、大视场目标图像对象为实
例进行了验证,实验结果表明本文算法拼接精度
高,可消除重复纹理特征图像的伪拼接,提高了图
像的拼接质量,为大型图像拼接技术提供了一种
有效的新方法。
参考文献:
[
1
]王雷斌
.
基于计算机视觉的图像拼接技术研究[
D
]
.
北
京:首都师范大学,
2008.
[
2
]江
铁,朱桂斌,孙
奥
.
全景图像拼接技术研究现状
综述[
J
]
.
重庆工商大学学报:自然科学版,
2012
,
29
G
5
第
4
期
姚佳宝等:一种基于
L-M
算法的
RANSAC
图像拼接算法
557
():
1260-65.
[,
F
:
a3
]
istrationmethods
gg
],
2
,
dVisionComutin0031
y
[
gpg
():
11977-1000.
[],
-hasedtechniuefor
y
BS
jq
,,
translationrotationandscale-invariantimaereistration
gg
[],,():
ansactionsonImaeProcessin199658
gg
1266-1271.
[]仵建宁,郭宝龙,冯宗哲
.
一种基于兴趣点匹配的图像
5
拼接方法[],():
J.
计算机应用,
2006263610-612.
[
6
]
MikolaczkK
,
&affineinvariant
jy
M
]
.ComuterVision-ECCVSeedCornerDetection
[
pp
:
S
,:
rinerBerlinHeidelher2006430-
pgg
443.
[]:
9FischlerMA
,
samleconsensusa
p
aradimformodelfittinithalicationstoimae
pgg
w
ppg
[]
icationsof
ygpy
,():
,
[]
伏燕军
,
杨坤涛
,
邹文栋
,
等
.
基于
L10evenher-Maruardt
gq
],():算法的图像拼接[激光杂志,
J.200728546-48.
[]:
11BaTutelaarsT
,
ededu
y
H
,
ypp
RohustFeatures
[
M
]
.ComuterVision-ECCV2006.
p
:,:
BerlinSrinerBerlinHeidelher2006404-417.
pgg
[]
2ComuterVisionAlication
gpppp
:
OProramminookhookver50ReciestoMaster
gg
C
p
ThisLihrarfProramminunctionsforReal-time
y
o
gg
F
ComuterVision
[
M
]
.Birminham
:
PacktPuhlishin
pgg
,:
interest
p
ointdetectors
[
J
]
.InternationalJournalof
,,():
rVision
p
[],
7NixonM
,
eExtraction
g
[
&ImaeProcessinforComuterVisionM
]
.3rdEd.
ggp
:,:
NewYorkAcademicPress2012152-167.
[]
8RostenE
,
eLearninorHih-
g
f
g
RANSAClmaeStitchinlorithmBasedonL-MAlorithm
gg
A
gg
YAOJia-bao
,
TIANQiu-honCHENBen-on
g
,
yg
(,,
H
,)
PrecisionMeasurementLahoratorZheianci-TechUniversitanzhou310018China
yjg
S
yg
:
AbstractTosolvetheaccuracrohlemofrandomsamleconsensus
(
RANSAC
)
alorithminimae
yppgg
,
stitchinanimrovedRANSACalorithmhasedonLevenher-Maruardt
(
L-M
)
alorithmis
p
roosed.
gpggqgp
,
Firstltheinitialhomorahndotimalmatchinointssetwere
g
ainedthrouhalinANSAC
ygpy
a
pgpgppyg
R
,
-Malorithmwasaliedtoimroveinitialhomorahso
gpgpppgpy
asto
g
inerification
gpy
w
gy
a
ggg
v
ultsindicatethatthisalorithm
ypgg
overcomesmismatchinrohlemoftraditionalL-MalorithmandlowaccuracfRANSACalorithmdue
gpgy
o
g
,
orithmhasahihaccuracndlowmismatchinateforimaestitchin
yggy
a
g
r
gg
eliminatethefalsestitchinftheimaeswithreetitivetextures.
g
o
gp
:;;;
KeordsimaereistrationimaestitchinfeatureextractionRANSACalorithm
;
L-Malorithm
gggggg
y
w
责任编辑:陈和榜)(
2024年4月16日发(作者：贺梦秋)
浙江理工大学学报(自然科学版)第
3
第
4
期,,
3
卷,
2015
年
7
月
)
JournalofZheianci-TechUniversitNaturalSciences
jg
S
y
(
,,
Vol.33No.4Jul.2015
)文章编号:
1673-3851
(
201504-0552-06
一种基于
L-M
算法的
RANSAC
图像拼接算法
姚佳宝,田秋红,陈本永
()浙江理工大学精密测量技术实验室,杭州
310018
,算法拼接技术中的准确性问题,
randomsamleconsensusRANSAC
)
摘
要:针对现有的基于随机取样一致(
p
,提出一种基于莱文伯马克特(算法的
R-levenher-maruardtL-M
)
ANSAC
算法。首先根据提取到的特征点运用
gq
然后运用
L
获得了准确性较
RANSAC
算法得到初始单应矩阵和最优匹配点集,
-M
算法对初始单应矩阵加以改进,
高的单应矩阵,从而实现图像的准确配准。以近距离、大视场的典型图像进行了拼接验证,结果表明:该算法既克服
了传统
L
又克服了
R-M
算法所带来的误匹配问题,
ANSAC
算法因不确定度所带来的准确性较低的问题。该算法拼
误匹配率低,同时可消除具有重复纹理图像的不正确拼接。接准确度高,
关键词:图像配准;图像拼接;特征提取;
RANSAC
算法;
L-M
算法
中图分类号:
TP317.4A
文献标志码:
]
9
结果
[
在一些特征点较少或者不均匀的图像中,普,
0
引
言
图像拼接技术随着计算机水平的提高在很多领
域有了广泛的应用,如大型建筑物、宇宙空间探测、
海底勘测和医学等方面图像拼接仍是重要研究课
题。目前,关于图像拼接技术的主要方法有基于频
]
1
基于模版匹配法和基于特征法等
[
域变换法、。基
通
RANSAC
算法并不能满足获得高质量拼接图像
的要求。
一般图像拼接主要分为
5
个步骤如图
1
所示:
图像采集、特征提取、特征匹配、图像配准、图像
融合。
于频域变化的方法准确率比较高,但容易受噪声的
影响。基于模版匹配的方法较为简单,但是它计算
容易受光照、变形等因素的影响,所以并不适量大,
]
2-4
合单调景物的拼接
[
。基于特征法的方法是选择
图
1
图像拼接算法流程
图像拼接的关键是图像配准过程中单应矩阵的
求解,其求解过程是先分别从两幅图像寻找特征点,
根据提取到的特征点创建描述子,基于描述子得到
两幅图像间的匹配点完成图像间的匹配。故本文在
0
,通过特
RANSAC
算法的基础上引入
L-M
算法
1
征点的匹配关系提出了一种新的单应矩阵求解方
[]
某些特殊的点,对它们进行局部分析,因此它的区分
]
5-8
度很高,并且具有精确定位的稳定特性
[
特征点,
不受亮度和光照的影响,然而在检测器检测精度高,
参数求解的准确性方面仍然存在不足,因此对于参
数求解尤其是单应矩阵准确性的提高是一个重要研
究方向
。
例如
,
RANSAC
算法可以从一组包含局外
点的观测数据集中,通过迭代方式估计数学模型的
参数,得到一个优质的匹配点集,然而它是一种不确
定的算法,因为它是由一定的概率得出一个合理的
收稿日期:
2014-10-20
基金项目:国家自然科学基金项目()
51405448
法,首先通过
S
接着运用
URF
算子进行特征提取,
双向匹配的原则剔除误匹配点,并根据现有的特征
点运用
RANSAC
法则得到初始的单应矩阵和内
点,然后根据提取到的内点运用
L-M
法则得到最终
的单应矩阵,最后对其算法进行图像拼接验证。
作者简介:姚佳宝(,女,河北邢台人,硕士研究生,主要从事精密视觉测量技术方面的研究。
1993-
)
通信作者:田秋红,:
@qg
第
4
期
姚佳宝等:一种基于
L-M
算法的
RANSAC
图像拼接算法
553
1
图像特征提取与匹配
1.1
特征点提取
本文对于特征点提取采用鲁棒性较好的基于尺
度空间理论的
SURF
特征提取法
[
11
-
12
]
,该尺度空间
内特征点提取是通过在坐标点
x
处
Hessian
矩阵
[
L
xx
(
x
,
σ
)
L
x
y
(
x
,
σ
)
L
x
y
(
x
,
σ
)
L
yy
(
x
,
σ
)
]
,利用公式(
1
)来判断此点是
否为极值:
h
=
L
xx
×
L
yy
-
(
ε
L
x
y
)
2
(
1
)
式中
L
xx
(
x
,
σ
)、
L
x
y
(
x
,
σ
)和
L
yy
(
x
,
σ
)分别表示点
x
在不同方向上与
Gaussian
二阶偏导数的卷积,
σ
为
卷积核,
ε
为补偿函数,通常取
0.9
[
11
-
12
]
。
对于
SURF
特征点的确定,首先要构建多层金
字塔图像,然后使用如图
2
所示
3×3×3
的模板在
三维尺度空间进行非最大化抑制,根据预设的
Hessian
阈值
H
,当
h
大于
H
时,且比尺度空间内
临近的
26
个点(如图
2
所示)的响应值都大的点才
被选为特征点,记为
X
i
(
i
=0
,
1
,
2
,
3
…
n
)。
图
2
特征点确定
1.2
特征点描述
对于上述所提取到的
SURF
特征点
X
i
的描述
过程如下:
首先是以特征点为中心,将
20
σ
×20
σ
的矩形区
域图像划分成
4×4
子块,每个子块利用尺寸
2
σ
的
Haar
小波模板进行响应计算,最后对响应值
∑
d
x
、
∑
d
x
、
∑
d
y
∑
d
y
进行统计形成特
征矢量
p
i
。
1.3
特征点匹配
对由
SURF
算法提取的特征点
X
i
进行匹配。
为得到高精度的图像匹配点,本文采用基于欧氏距
离和双向匹配结合的特征点匹配算法。该算法先用
欧氏距离法对参考图和目标图的特征点集进行筛
选,生成
matches
1
和
matches
2
,然后运用双向匹配
法对其进行高精度匹配点对的提取。算法如下:
a
)利用所得到的目标图像的特征点
X
i
,计算
它到参考图像像所有特征点
X
j
(
j
=0
,
1
,
2
,…,
n
;
n
为特征点的个数)的欧氏距离,如公式(
2
)所示,得到
一个距离集合
Dis
i
j
。
Dis
i
j
=
[
n
式中,
X
∑
(
X
ik
-
X
j
k
)
2
]
(
2
)
k
=
0
ik
表示目标图中第
i
个特征矢量
p
i
的第
k
个
元素,
X
j
k
是参考图中第
j
个特征矢量
p
j
的第
k
个
元素,
n
表示特征矢量
p
i
的维数。
h
)对
Dis
i
j
内的数据进行比较运算得到最小欧
氏距离
d
min
和次最小欧式距离
d'
min
。设定一个阈值
hreshold
(一般取
0.8
～
0.95
,本文取
0.8
),当
(
d
min
/
d'
min
)
<
threshold
时,保留此特征点并生成匹
配点集
matches
1
。
c
)计算参考图特征点到目标图所有特征点的
欧式距离,并按上述
a
)、
b
)两步对参考图的特征点
进行筛选生成匹配点集
matches
2
。
d
)利用双向匹配算法对匹配点集
matches
1
和
atches
2
进行提取,生成最终的匹配点集
matches
。
以近距离拍摄的两幅大型客车作为匹配对象,
如图
3
所示。灰点表示初始提取到的特征点,由直
线所连接的白色的点对表示经过优化和双向匹配原
则所提取到的最终特征匹配点对。
图
3
匹配点对
图像配准
对匹配点集
matches
进行几何变换运算,如公
式(
3
)所示。
U
i
u
j
m
0
m
1
m
2
u
j
V
i
=
Hv
j
=
m
3
m
4
m
5
v
j
(
3
)
1
1
m
6
m
7
m
8
1
式中:
H
表示单应矩阵,(
U
i
,
V
i
)表示
matches
中参
考图像点的坐标,(
u
i
,
v
i
)表示
matches
中目标图像
点对应的坐标。
单应矩阵
H
表示两幅图像之间的位置变换关
系,它的准确性直接影响拼接质量的好坏。本文提
出了改进的
RANSAC
算法,该算法先采用
RANSAC
t
m
2
554
浙
江
理
工
大
学
学
报
2015
年
第
33
卷
算法获得高精度内点集
S
'
i
和初始矩阵
H'
i
,再引入
L-M
算法利用内点集
S'
i
对初始单应矩阵
H'
i
进行
优化。
2.1
RANSAC
算法
对两幅大型客车图像的拼接过程中,本文采用
RANSAC
算法保留内点剔除外点,反复从上述特征
匹配点集
matches
中选取一个最基本的子集,计算
出单应矩阵,再由所求出的单应矩阵判断所选取的
子集是否能够达到给定置信概率及误差范围,其主
要过程如下:
a
)根据实验需要,首先确定置信概率(本文取
0.96
),它决定了迭代的次数
k
,然后确定阈值
thre
0
(本文取
2
)。
h
)从匹配点对中随机选取
4
个样本点对,利用
8
个点求取图像间的临时单应矩阵
H
i
。
c
)根据临时单应矩阵
H
i
计算剩余样本点对到
极线的距离
d
i
(
X
i
H
i
X'
i
),若
d
i
<
thre
0
,则将此样本
点加入点集
S
i
,其与极线的距离加入
D
i
。
d
)
i
=
i
+1
,若
i
<
k
,则返回
h
),否则执行第五步。
e
)在完成一定的抽样次数后,选取点集
S
i
中
点数最多的点集为内点集
S'
i
,并记录此时
H
i
记为
初始单应矩阵
H'
i
,对应的距离集合
D
i
记为
D'
i
。
2.2
L-M
算法
采用
RANSAC
算法得到的
H'
i
是随机选取匹
配点产生的,并不是满足匹配点集
S'
i
的最优解。
因此本文利用
L-M
算法对初始单应矩阵
H'
i
进一
步优化,得到满足匹配点集
S'
i
的最优解
H
i
。具体
算法如下:
a
)首先利用上一步
RANSAC
算法得到的单应
矩阵
H'
i
变换成列向量作为初始迭代矩阵
H
0
,即
H
0
=
(
m
0
,
m
1
…
m
7
)
T
,然后选取
D'
i
中距离最小的
八对点记为(
U
0
,
V
0
)(
U
1
,
V
1
)…(
U
7
,
V
7
)和(
u
0
,
v
0
)
(
u
1
,
v
1
)…(
u
7
,
v
7
);
h
)给出误差允许值
ε
(本文取
3
个像素),试探
性常数
μ
和
β
(本文分别取
0.005
和
10
),令
k
=0
;
c
)根据
H
k
生成新的目标图像,
e
i
2
并求取误差
指标函数
E
(
H
k
);
N
E
(
H
k
)
=
1
2
∑
[(
U'
i
-
U
i
)
2
+
(
V'
i
-
V
i
)
2
]
i
=
0
1
N
=
2
∑
e
i
2
(
H
)
=
1
e
(
H
)
T
(
e
)(
H
)
i
=
1
2
式中:(
U
i
,
V
i
)为参考图像的坐标,(
U'
i
,
V'
i
)为经过
矩阵
H
k
所构成的单应矩阵和目标图像点(
u
i
,
v
i
)坐
标由公式(
3
)计算得到参考图像的坐标,
N
为所选
取的点的个数。
d
)根据公式(
4
)、(
5
)计算
H
k
+1
;
H
k
+1
=
H
k
+
Δ
H
(
4
)
Δ
H
=
[
J
T
(
H
)
J
(
H
)
+
μ
I
]
-1
J
T
(
H
)
e
(
H
)(
5
)
式中,
e
(
H
)为误差指标函数中
e
i
(
H
)形成的列向
量,即:(
e
1
(
H
),
e
2
(
H
),…
e
N
(
H
))
T
;
I
为单位矩阵;
J
(
H
)为
e
(
H
)的
Jacohian
矩阵,即:
e
1
(
H
)
m
…
e
1
(
H
)
0
m
N
J
(
H
)
=
.
e
N
(
H
)
…
e
N
(
H
)
m
0
m
N
e
)若
E
(
H
k
)
<
ε
,则停止输出
H
k
,否则继续下
一步;
f
)计算
E
(
H
k
+1
),若误差指标函数逐渐降低,即
E
(
H
k
+1
)
<
E
(
H
k
),则使
μ
降低,即
μ
=
μ
/
β
,
k
=
k
+1
,
返回
c
),否则增加
μ
,即
μ
=
μ
×
β
,
k
=
k
+1
返回
c
)。
3
图像融合
为了有效地消除拼接图像的拼接痕迹,本文采
用高斯金字塔和拉普拉斯金字塔进行图像融合,利
用重叠区域内图像构造高斯金字塔作为加权系数,
并对
2
幅图像在拉普拉斯尺度空间内进行融合,从
而得到无拼接痕迹的拼接图像。
综上所述,改进的
RANSAC
图像拼接算法流
程如图
4
所示,首先通过
SURF
算子提取
2
幅图像
的特征点,基于欧式距离筛选得到初始匹配点
matches
1
和
matches
2
,将符合双向匹配原则的点对
图
4
改进的图像拼接算法流程
第
4
期
姚佳宝等:一种基于
L-M
算法的
RANSAC
图像拼接算法
555
记为匹配点集
matches
,否则,此点对被删除;然后
利用
RANSAC
算法得到单应矩阵
H'
i
和最优点集
S'
i
,基于点集
S'
i
用
L-M
算法对
H'
i
进行优化,得
到最终单应矩阵以此用来对图像进行配准,最后利
用金字塔法对图像进行融合,得到完整的拼接图像。
4
实验结果与分析
为了验证本文提出的拼接算法,利用数码相机
(
Canon
:
EOS-600D
)近距离拍摄大型客车图像为目
标对象,在拍摄过程中焦距保持不变,图像尺寸
776
×934
像素,采用
MicrosoftVisualStudio2010
开
发工具编写算法程序,图
5
为参考图,图
6
为目标图
像,图
7
为未改进的
RANSAC
算法得到拼接图像,
图
8
为本文提出算法得到的拼接图像。在视觉效果
图
5
平移参考图
图
6
平移目标图
图
7
未改进算法拼接图像
上由图
7
、图
8
可知:利用未改进算法得到的拼接图
像存在明显的拼接痕迹,而本文提出的算法得到的
拼接图像无拼接痕迹,而且在背景重复纹理处并没
有伪拼接现象,拼接效果好,拼接准确性高。
图
8
改进算法拼接图
为了验证本文算法对于旋转图像拼接的有效
性,对于将
2
幅大型客车图像进行旋转拍摄,如图
、图
10
所示,图
11
为传统
RANSAC
算法进行拼
接之后的图像,图
12
为改进算法之后的图像,由图
1
可知,未改进的算法对于旋转图像的拼接造成了
较大的失真,而图
12
并不存在明显的拼接痕迹,且
重叠区域过渡平滑。由此可知,经过改进之后的算
法无论是对于相机平移拍摄的图像
,还是对于相机
旋转的图像都具有良好的拼接效果。
图
9
旋转参考图
图
10
旋转目标图
9
1
556
浙
江
理
工
大
学
学
报
2015
年
第
33
卷
图
11
未改进算法拼接图像
图
12
改进算法拼接图
为了验证本文算法在拼接大视场图像方面的有
效性,将相机旋转近距离拍摄了
11
层高的浙江理工
大学图书馆两幅图像,如图
13
、图
14
所示,图像尺
寸为
648×432
像素,经本文提出的拼接算法处理
后,拼接形成的浙江理工大学图书馆全景图如图
15
所示,该拼接图像既没有明显的拼接痕迹也没有图
像失真现象。实验证明,本文所采用的拼接算法无
论是在近距离小范围的平移图像拼接还是对于较大
视场旋转图像都具有良好拼接效果。
图
13
图书馆参考图
图
14
图书馆目标图
图
15
图书馆全景图
图像的梯度反映了图像的纹理变化特征,拼接处
的图像梯度越小则拼接效果越好。故本文以拼接位
置的像素点为中心,采用
3×3
像素的图像区域计算
拼接位置像素点的水平方向平均梯度大小,如式(
6
)
所示:
i
+
M
/
2
j
+
N
/
2
x
,
-
(
f
(
x
+
1
,
i
,
j
)
=
x
=
∑
i
-
M
/
2
y
=
∑
f
(
y
)
y
)
j
-
N
/
2
M
×
N
(
6
)
式中:
M
、
N
表示窗口的大小,本文取
3
,
f
(
x
,
y
)表示
图像像素值的大小。
据式(
6
)分别计算了传统
RANSAC
算法与本
文算法拼接后的图像在拼接位置的横向平均梯度
值,如表
1
所示。从表
1
中可得:本文所采用的算法
在拼接位置的横向平均梯度明显小于
RANSAC
算
法的横向平均梯度,故拼接效果好,拼接准确性高。
表
1
不同算法横向梯度平均值
算法
平移客车旋转客车图书馆
图像图像图像
RANSAC
算法
0.331.781.56
本文算法
0.120.230.21
结
语
本文提出一种基于
L-M
算法的
RANSAC
算
法,较好地解决了基于特征法的图像拼接算法中
存在的参数求解准确性较低的问题,描述了本文
提出的拼接算法的特征点提取、图像匹配和融合,
以两种不同的近距离、大视场目标图像对象为实
例进行了验证,实验结果表明本文算法拼接精度
高,可消除重复纹理特征图像的伪拼接,提高了图
像的拼接质量,为大型图像拼接技术提供了一种
有效的新方法。
参考文献:
[
1
]王雷斌
.
基于计算机视觉的图像拼接技术研究[
D
]
.
北
京:首都师范大学,
2008.
[
2
]江
铁,朱桂斌,孙
奥
.
全景图像拼接技术研究现状
综述[
J
]
.
重庆工商大学学报:自然科学版,
2012
,
29
G
5
第
4
期
姚佳宝等:一种基于
L-M
算法的
RANSAC
图像拼接算法
557
():
1260-65.
[,
F
:
a3
]
istrationmethods
gg
],
2
,
dVisionComutin0031
y
[
gpg
():
11977-1000.
[],
-hasedtechniuefor
y
BS
jq
,,
translationrotationandscale-invariantimaereistration
gg
[],,():
ansactionsonImaeProcessin199658
gg
1266-1271.
[]仵建宁,郭宝龙,冯宗哲
.
一种基于兴趣点匹配的图像
5
拼接方法[],():
J.
计算机应用,
2006263610-612.
[
6
]
MikolaczkK
,
&affineinvariant
jy
M
]
.ComuterVision-ECCVSeedCornerDetection
[
pp
:
S
,:
rinerBerlinHeidelher2006430-
pgg
443.
[]:
9FischlerMA
,
samleconsensusa
p
aradimformodelfittinithalicationstoimae
pgg
w
ppg
[]
icationsof
ygpy
,():
,
[]
伏燕军
,
杨坤涛
,
邹文栋
,
等
.
基于
L10evenher-Maruardt
gq
],():算法的图像拼接[激光杂志,
J.200728546-48.
[]:
11BaTutelaarsT
,
ededu
y
H
,
ypp
RohustFeatures
[
M
]
.ComuterVision-ECCV2006.
p
:,:
BerlinSrinerBerlinHeidelher2006404-417.
pgg
[]
2ComuterVisionAlication
gpppp
:
OProramminookhookver50ReciestoMaster
gg
C
p
ThisLihrarfProramminunctionsforReal-time
y
o
gg
F
ComuterVision
[
M
]
.Birminham
:
PacktPuhlishin
pgg
,:
interest
p
ointdetectors
[
J
]
.InternationalJournalof
,,():
rVision
p
[],
7NixonM
,
eExtraction
g
[
&ImaeProcessinforComuterVisionM
]
.3rdEd.
ggp
:,:
NewYorkAcademicPress2012152-167.
[]
8RostenE
,
eLearninorHih-
g
f
g
RANSAClmaeStitchinlorithmBasedonL-MAlorithm
gg
A
gg
YAOJia-bao
,
TIANQiu-honCHENBen-on
g
,
yg
(,,
H
,)
PrecisionMeasurementLahoratorZheianci-TechUniversitanzhou310018China
yjg
S
yg
:
AbstractTosolvetheaccuracrohlemofrandomsamleconsensus
(
RANSAC
)
alorithminimae
yppgg
,
stitchinanimrovedRANSACalorithmhasedonLevenher-Maruardt
(
L-M
)
alorithmis
p
roosed.
gpggqgp
,
Firstltheinitialhomorahndotimalmatchinointssetwere
g
ainedthrouhalinANSAC
ygpy
a
pgpgppyg
R
,
-Malorithmwasaliedtoimroveinitialhomorahso
gpgpppgpy
asto
g
inerification
gpy
w
gy
a
ggg
v
ultsindicatethatthisalorithm
ypgg
overcomesmismatchinrohlemoftraditionalL-MalorithmandlowaccuracfRANSACalorithmdue
gpgy
o
g
,
orithmhasahihaccuracndlowmismatchinateforimaestitchin
yggy
a
g
r
gg
eliminatethefalsestitchinftheimaeswithreetitivetextures.
g
o
gp
:;;;
KeordsimaereistrationimaestitchinfeatureextractionRANSACalorithm
;
L-Malorithm
gggggg
y
w
责任编辑:陈和榜)(