2024年4月3日发(作者：节哲彦)
第
31
卷第
3
期
2019
年
9
月
河南工程学院学报
(
自然科学版)
JOURNAL
OF
HENAN
UNIVERSITY
OF
ENGINEERING
Vol.
31,
No.
3
Sept.
2019
基于嵌入式的图像特征匹配系统设计
张开生
，
赵小芬
，
李霞
(陕西科技大学电气与控制工程学院，
陕西西安
710021)
摘要
：
在计算机视觉研究领域
，
一个非常重要的研究项目是希望让机器可以获得像人一样观察世界的能力
。
因此，
提
出了一种将嵌入式
Blackfi
n
微处理器与融合后的图像特征匹配算法
(
SIST
)
相结合的设计方法
。
首先利用最大埔方法将图像
清晰化
，
然后采用
SIST
算法进行图像特征点匹配
，
进而提高准确度
。
实验发现
，
当
ratio
值为
0.62
时
，
图像具有最大匹配度
。
实验证明本设计不仅解决了图像数据量大
、
难处理的问题
，
也在一定程度上提升了图像的匹配度
，
为图像处理研究提供了新
思路
。
关键词
：
嵌入式
;
图像特征
;
匹配度
中图分类号:
TP399
文献标志码:
A
文章编号
=
1674
-330X(2019)03
-0060
-06
Design
of
image
feature
matching
system
based
on
embedded
system
ZHANG
Kaisheng
,
ZHAO
Xiaofen
,
LI
Xia
(College
of'
Electrical
and
Control
Engineering
»
Shaanxi
University
of
Science
and
Technology
i
XVan
710021
?
China)
Abstract
:
In
computer
vision,
it
is
a
very
important
research
purpose
to
let
the
machine
gain
the
ability
to
observe
the
woild
like
a
human
beings.
This
paper
is
based
on
embedded
image
feature
matching
system
design.
A
design
method
combining
the
embedded
Blackfin
microprocessor
with
the
fused
image
feature
matching
algorithm
(SIST)
is
proposed.
First
the
maximum
entiopy
method
is
used
to
sliaipen
the
image,
then
SIST
algoritlim
is
used
to
perform
image
feature
point
matching,
and
improve
accuracy.
It
is
found
tlirougli
experiments
that
in
this
system
,
when
the
ratio
is
0.
62,
tlie
image
lias
the
maximum
matcliing
degree.
Proved
by
experiment
,
tliis
design
not
only
solves
tlie
problem
that
the
amount
of
image
data
is
difficult
to
handle
,
but
also
increase
the
image
matching
degree
to
some
extent
,
providing
innovative
ideas
for
image
processing
reseaich.
Keywords
:
embedded
system
；
image
feature
；
matching
degree
人类与机器在观察物体时，
最大的一个区别就是人类的视觉系统具有一定的尺度或旋转不变性主
要体现为人眼在识别图像中的物体时
，
无论图像处于哪个位置
，
人类都可以根据物体特征进行辨识
。
如何
让计算机在识别物体时也具有这样的能力
，
始终是计算机领域的需家们思考的问题
。
由丁图像信息的数据量
❷
大⑵
，
在处理的过程中很可能发生数据丢失
、
处理困难等问题
。
因此,考虑采
用嵌入式芯片
Blackfin
作为微处理器进行数据管理
、
分析和处理
d
结合融合后的
SIST
算法
，
设计了一种
基于嵌入式的图像特征匹配系统，
不仅提升了图像特征的匹配度
，述解决了图像信息数据量大且易丢失
、
难
处理的问题
。
1
系统总体设计
本系统包括硬件和软件两部分
。
其中
，
硬件部分包括图像采集模块
、
图像预处理模块
、
缓存器
、
微处理
器
Blackfin
与图像处理单兀
，
软件部分主要包括最大爛方法和
SIST
算法相结合的实现。
系统总体结构如
图
1
所示
。
收稿日期
:2019
-04
-22
基金项目
：西安市科学技术局科技创新引导项目
(201805023
YD1CG7(5))
作者简介
：
张开生
(1963
—
),
男
，山西运城人
，
教授
，
博士
，
主要研究方向为嵌入式系统应用
第
3
期
张开生
，
等
：
基于嵌入式的图像特征匹配系统设计
.
61
•
2
硬件设计
2.1
微处理器选型
在图像处理过程中
，
图片的数据量往往非常庞大,
并且还需耍结合识别算法,所以对处理器的耍求一般很
高
。
另外
，由于目前对图像实时性处理和传输的要求越
来越高
，
所以一方面耍求图像处理算法尽量优化
、
精简
，
(
愀处蜩
I
另一方面也对图像处理主芯片的内核处理能力
、内部总
线架构
、
数据传输能丿
J
、
外围接口
，
以及硬件整体架构和
指令集对预处理算法的支持提出了更高的要求。
图
1
系统总体结构
Fig.
1
System
overview
Blaekfin
系列处理器的硬件架构专门针对图像处理进行优化
，
多个
DMA
通道和可灵活配置的
Cache
能
很好地解决大运算量
、
高数据吞吐率的图像处理应用要求
。
在图像处理应用中
，
虽然对图像数据进行的传
输也可由软件实现，
但这样会消耗掉大量的
CPU
时钟周期
，
从而使
DSP
的高速数据处理能力难以得到发挥
如果由
DMA
独立负责数据传输
，
那么在系统内核对
DMA
进行初始设置并启动后
，
DMA
控制器就可在无须
内核参与的情况下直接把图像数据从
PPI
接口传输至
SDRAM
存储器进行存储
。
因此
，
本系统采用
Blaekfin
系列的
ADSP
-
BF533
型处理器作为主控制器对图像数据进行分析
、
计算和管理
。
2.2
图像采集模块
目前常见的图像采集模块采用电荷耦合器件
(CCD)
实现图像的获取
[5
^
6]
o
CCD
是一种用电荷量
灵敏就走器
表示信号大小
、
用耦合方式传输信号的探测兀件
，
具
有自扫描
、
波谱范围宽
、
畸变小
、
体积小
、
质量轻
、
噪声
低
、
功耗小
、
寿命长
、
可靠性高等一系列优点
，
可做成
集成度非常高的组合件
。
木系统采用
CMOS
图像传感
器代替数字相机作为图像源采集装置
，
不仅成木低
、
控
制
电
路
输
岀
放
大
器
垂
直
移
位
器
先敏元
阵列
ir
水平移位器
功耗低
，
而且集成度相对较高可
。
其工作原理如图
2
所示
。
时序电路
2.3
图像预处理
图像预处理主耍包括
3
部分
：
噪声滤除
、
A/D
转
图
2
CMOS
图像传感器原理
Fig.
2
Schematic,
diagram
of
CMOS
image
sensor
换与数字信号的放大
。图像噪声是原始图像中的十
扰信息
，
图像噪声的存在势必会降低图像的清晰度
，
故进行图像的去噪处理颇为重耍
，
此时输山的信号为带
有少量于扰噪声的模拟信号
。
由丁处理器只能处理数字信号
，
所以耍进行模拟信号和数字信号之间的转
换
。
虽然图像采集中的
CMOS
传感器具备模
、
数转换的功能
，
但是为确保所有的模拟信号均被转换为数字信
号
，特在预处理部分再次进行
A/D
转换
，
已被转化的数字信号无须转换
。再把转化后的数字小信号经过数
字放大器的作用
，
经缓存器输山到微处理器中进行信号的分析和处理
。
2.4
图像处理模块
本系统采用的图像处理模块
Blaekfin
微处理器是一类专为满足当今嵌入式音频
、
视频和通信应用的计
算要求和功耗约束条件而设计的
16-32
位新型嵌入式处理器
，
它具有高达
400
MHz
的时钟速率
，
内置
116
KB
随机存储器
，
以及可选择的
4
Mbit
串行
(SPI)
闪存
，
可完全支持图像数据的处理
。
另外
，
木设计在微
处理器前加上缓存器
，
经过预处理的数字信号先暂存在缓存器中
，
这样就可以避免大量数据直接进入处理
器造成拥塞
。
3
软件设计
本系统基丁
MATLAB
软件平台进行仿真实验
。
采用最大爛方法对图片进行处理,使图像清晰化
，
然后
•
62
•
河南工程学院学报
(
自然科学版)
2019
年
将处理后的图片在
MATLAB
中运用
SIST
算法进行图像特征的匹配
。
下面将对这两种算法作详细的介绍
，
然后提山将两种算法融合的新方法
。
3.
1
原始算法
3.1.1
原始算法
1
—
最大爛算法
直方图的拉伸和均衡化都能突出图像中隐藏的特征点
。
图像显现出的特征点越多
，对应的图像匹配度
越高
。
最大爛法的核心思想是使选择的阈值分割图像目标和背景区域两部分灰度统计的信息量最大
。
首
先
，
根据信息爛定义
Z
：
]
H
(
X)
二
工
p
(
%
二他
)
1
隅
2
----------
，
(
1
)
X
的具体内容与信息量无关
，
所以爛可以表示为
H
(%)
=
_
工
p
(x)
log
2
:
)
,
(2)
式中
：
0
W
H(X)
W
log
2
I
X
I
o
计算原始图像的信息爛
H
。
，
选择最大
、最小灰度的均值为初始阈值:
T
。
；
根据绻将图像分割为
G
1
和
G
2
两
个区域
，
均值分别为陆和
M
2
，
更新阈值为
T
2
=
0.5
*
(陆
+
M
2
)
；
再计算
G]
和
G
2
的信息爛
H
d
和
H
b
,
比较
H
d
+H
「
与
H
o
的大小
,
如果相等或在规定的范围内
,
或者达到最大迭代次数
，
则将
T
2
定义为最终阈值输出
，
否
则
T
o
=
T
2,H
0
=
H
d
+/,
重复分割直到满足条件
。
3.1.2
原始算法
2
—
—
SIST
算法
SIST
算法的主要思路:首先构造图像的尺度空间
，
然后在尺度空间中搜索图像的极值点
，
由极值点再建
立特征描述向量
，
最后用特征描述向量进行相似度匹配
。
该算法的步骤如下
：
①
构造尺度空间
同一物体在不同的观测精度下呈现出的不同表象就构成了
一组初读空间
。
由于人类的视觉系统具有
一定的尺度不变性
，
所以无论人们从哪个角度去观察物体
，
总能轻而易举地辨识出来。
如果想把这一思想
运用到机器上
，使机器可以通过物体之间的相同特征点来对物体进行辨识
，
可以通过卷积来计算构造不同
的尺度空间
。
生成多尺度空间的高斯函数被称作
“
高斯核
”
，
二维图像在不同尺度下的尺度空间可表示为
L
(x,y,
a)
=
G
(x,y,
a)
*
I
Cx,y)
,
(3)
式中:
G
(x,y,a)
为高斯核函数。
1
心+
”
2
G
(x,
y,
cr)
=
------
e_2
”
2
,
2
tto
-
2
(4)
式中
：
/(x,y)
是图像点的像素坐标;
o
■为尺度因子
;L(.x,y,a>
代表图像的尺度空间
。
②
寻求特征点
在每个候选的位置上
，
通过一个拟合精细的模型来确定位置和尺度
。
关键点的选择依据丁它们的稳定
程度
。
为了高效地在尺度空间内检测山稳定的特征点
，
就耍使用差分高斯
(
DoG)
作为判定的依据
。
它的定义
由式
(
1)
可得
D
(x,y,
a)
=
[G
(x,y,
ka)
-G(x,y,cr)
]
*
/
(x
,
y)
=
L
{x,y,ka)
-
£
(x,y, » (5) 在得到原始图像 SIFT 候选特征点的集合后 ， 从中挑选山稳定的点作为最终图像的特征点。 因此 ， 必须对 关键点精确定位,可以通过 DoG 函数进行曲线拟合寻找极值点 ， 所以需耍再次使用泰勒展开式将 DoG 的定 义式进行展开 ， 得 D (x) = D + + 丄 yAx, dx 2 a% (6) 解得△ ” = 苑孚警 1 O dx dx 第 3 期 张开生 ， 等 ： 基于嵌入式的图像特征匹配系统设计 . 63 • 方向赋值③ 由①和②已经找到了关键点 ， 然后对特征点的方向进行赋值 ， 其方向是由邻域像素的梯度分布特性来 确定的 。 关键点定位后 ， 特征点的尺度值也就相应确定，得到高斯图像为 厶 （ x,y ， cr ） = G （ x,y ， cr ） */ （ x,y ） 。 (7) 利用有限弟分可以得到所有特征点的梯度模值与方向 ，其计算公式为 (% - 1 ? y) ] 2 + _L G :, y + 1) - L (%? y-i ) F 0 ( ： i ： , y) = tan (8) (9) -1 r L (x, y + 1) - L <3 - 1) 1 〔 厶& + 1, y) -LG ： - 1 ， y ） 卜 特征描述④ 在对关键点完成赋值之后 ， 要对这些特征点进行描述 。可用一组向量将这些特征点描述出来 ， 使其不随 光照视角等变化而改变 。 这个描述不但包括关键点 ， 述包含关键点周围对其有贡献的像素点 ， 并且描述符应 该有较强的独特性 ， 以便提高特征点正确匹配的概率。 具体做法:首先将关键点附近划分成 d * d 个小区域 ， 每个小区域拥有 ma 个像素点 ， 实际计算区域为 ma Cd + 1 ） ，然后旋转 0 角 ， 旋转后采样点的坐标为 广']= 「 50 -sin pv] Ly" L sin 0 cos 0 」 、 y 」 （ 10 ） 然后用高斯窗口对其进行加权运算 ， 计算每个梯度方向的累加值 ， 形成一个种子点 ， 每个种子点具有 8 个方向的向量信息 。 这种方式不仅增强了算法的抗噪声能力 ， 而且对丁含有定位误差的特征匹配也具有比 较理想的容错性 。 3.2 融合算法 图像越清晰,对应的图像匹配度就越高 。 现有的图像匹配方法大多采用单一的算法 ， 直接对原有图像 进行特征点的匹配 。 根据图像匹配核心思想 ， 首先增加图像的清晰度 ，采用最大爛方法对图像进行处理 ， 使 选择的阈值分割图像目标背景区域两部分灰度统计的信息量最大,进而使图片的清晰度增加 。 然后 ， 将清 晰化后的图片运用 SIST 算法进行图像的匹配。 图像处理阈值一般选取 0.4 -0. 8, 经大量实验 ， 发现当木系 统的阈值选取为 0.62 时 ， 图像具有最高的匹配度 。 从实验结果来看 ， 本系统结合嵌入式技术与图像处理技 术 ， 使结果的准确度提高 、 鲁棒性增强 。 4 结果分析 4. 1 硬件结构 4.1.1 系统硬件架构 系统主要由 ADSP - BF533 型处理器 .MT9V022 型 CMOS 传感器 . SDRAM > Flash 等构成 ， 硬件结构如图 3 所示 。 4.1.2 CMOS 图像采集接口电路 （ 见图 4 ） p 卫 (jq MI9V022 皿 h 7 g SDRAA1 GPIO CO 接口 图 3 硬件架构 图 4 CMOS 图像采集接口电路 Fig- 3 Hardware architecture diagram Fig. 4 CMOS image acquisition interface circuit ・ 64 ・ 河南工程学院学报 ( 自然科学版) 2019 年 系统采用了 Micnm 公司生产的 MT9V022 型 CMOS 传感器。 该传感器的有效分辨率为 752 x480, 具有 高达 110 dB 的动态范围 ， 并具有全局快门和全帧读 ill 模式 ， 能够最大限度地减少物体移动时拍摄所产生的 模糊和变形。 传感器的数据接口宜接与 ADSP-BF531 型处理器的 PPI 接口连接 ，采集到的图像数据直接存 放到位于 DSP 系统 SDRAM 里面的图像缓冲队列里 。处理器使用通用 I/O 口模拟 IIC 总线对传感器进行操 作 ， 可实时控制和读出传感器的 「 作状态 。 4.2 图像匹配结果分析 在进行实验时， 选取了多幅图片进行图像特征点的匹配 ， 图片的细节 、 复杂程度都不相同 ， 逐一进行匹 配 ， 结果如图 5 所示 。 图 5 中 ， 经过最大爛方法处理的图像对比度增强 ， 图像更加清晰 。 将处理后的图像再次用 SIST 算法在 MATLAB 中编程实现 ，可得如图 6 和图 7 所示的匹配后的图像 。 图 6 中左图是未做处理的图像匹配 ， 匹配点 数为 8 ； 图 6 中右图是经过最大爛方法处理后的更加清晰的图片 ， 此时匹配点数增至 12 。 图 7 所示的图片特 征明显 ， 匹配数量大 。 图 7 左图为未做任何处理的直接进行图像匹配后的效果图 ， 图 7 右图为处理后的特征 匹配图 。 显然,右图的匹配点数多丁左图 。 由丁篇幅限制 ， 不再对所有进行实验的图片一一列举 。 StrtCF ） ISfD 亶面 （ D 》 丈件 （ I 彌 （ I 査看讣 JSA （ TBr S^il 册口 （ V ABlll ■» Ef — ： d Ji ® 駁 Y • 巴帀目 B 口 原團 刘判 Ife 埶 9LKC 工 0 （ 奠茴卩 占曰 hi A b *. - 7 ， k 羽比度翳強 O matched pointB 1 matched poinls 2 Q matched points 1 matchsd panntfi i 图 6 实验对比图 1 Fig. 6 Experimental comparison with figure 1 文件旧够旧 磁 【 I) IMTD 飘 (D) ®Q{W> i 文母旧輛旧臥 (I) 冃口 ㈣ 辄助 (H) □ d d X 0 ® ® t Q □ 0 S Q 0 matched points 1 O matched points t + matched points 2 matched points 2 图 7 实验对比图 2 Fig. 7 Experimental comparison with figure 2 下面列出实验过程中原始算法与木系统采用的融合算法匹配点数的比较 ， 如表 1 所示 。 表 1 原始算法与融合算法匹配点数比较 Tab. 1 Comparison of original algorithm and fusion algorithm 算法 仿真图 1 仿真图 2 仿真图 3 仿真图 4 仿真图 5 仿真图 6 仿真图 7 原始算法匹配点数 融合算法匹配点数 12 19 20 10 31 25 63 27 76 41 62 35 78 35 由表 1 可知 ， 使用融合后的算法 ， 图像匹配点数相对于原始算法处理增长近 2 倍 ， 从而验证了融合后的 算法能有效实现图像特征点的匹配 。 由 T- SIST 算法存在运彳亍速度慢 、 时间复杂度高的问题 ， 本系统通过 SIST 算法与最大爛算法相融合实现 了图像特征点的匹配 ， 实验结果表明融合后的算法在时间性能上有了明显提高 。 下面列出实验过程中原始 算法与木系统的融合算法匹配时间的比较 ， 见表 2 。 第 3 期 张开生 ，等 ：基于嵌入式的图像特征匹配系统设计 表 2 原始算法与融合算法匹配吋间比较 Tab. 2 Comparison of matching time between oiiginal algorithm and fusion algorithm • 65 ・ 项目 原始算法匹配时间 /ms 仿贞图 1 1.440 1.045 仿贞图 2 2.424 1.925 仿贞图 3 1.236 1.705 仿贞图 4 3.075 3.465 仿贞图 5 3.243 仿贞图 6 4.923 3.410 仿贞图 7 4.257 4.290 融合算法匹配时间 /ms 4. 180 分析表 1 和表 2 可以发现 ， 融合后的算法在实现高清晰度图像的情况下提高了图像特征点提取的精确 度 ， 相比于原始算法 ， 大大缩短了特征点匹配所消耗的时间 ， 时间缩短至原始算法的三分之一左右 。 5 结语 基丁嵌入式 Blackfin 微处理器 ， 结合最大爛方法与 SIST 算法的融合 ， 设计山图像特征匹配系统 ， 避免了 图像处理中仅靠软件处理所造成的处理速度慢 、 精度不高 、 数据量大且易丢失等情况 ， 增强了系统的可靠 性,对有大量细节 、 复杂程度不同的图片进行了特征匹配,结果表明每幅图片都能很好地进行匹配 。 参考文献 ： ［ 1 ］ 孙健钧 ， 赵岩 ， 王世刚.基丁图像梯度佶息强化的 SIFT 特征匹配算法改进⑴.吉林人学学报(理学版) ,2018,56 (1) ： 82 - 88. 熊祥光 ， 陈熙 ， 曹永锋 ， 等.图像插值空间自适应人容量无损佶息隐藏算法 ［ JJ. 计算机科学与探索 ,2018 (12) : 1961 - 1973. 丁鹏 ， 干.嘉成 ， 贾伟岗.基 T Blaekfin561 的嵌入式车牌识別系统 ［ J ］ . 电子科技 ,2013,26 ( ⑵ ： 135 - 137. ［ 2 ］ ［ 3 ］ ［ 4 ］ ［ 5 ］ ［ 6 ］ 张晶晶.如何促进嵌入式系统的内部完善和科学发展 ［ J ］ . 数码世界 ,2017 (11) ： 233, 程杰.基于 CCD 光电成像靶面的舰炮校靶装置设计与灾现 ［ J ］ . 数字技术与应用 ,2018,36 (10) : 176 - 177. 唐子贤种基于 ARM 相机接口的视频采集方法的研究 ［ J ］ . 蚌埠学院学报 ,2016,5(6):13-16. ［ 7 ］ 王欣宇 ， 刘豪杰 ， 范百兴.金站仪目标口动识别与照准方法研究 ［ J ］ . 测绘工程 ,2018,27 (11):15 -22,2 & ( 上接第 53 页 ) 参考文献 ： ［ 1 ］ ［ 2 ］ ［ 3 ］ 段吉海 ， 黄智伟.数字通信系统建模与设计 ［ M ］ . 北京 ： 电子工业出版社 ,2004:1 -28 & 樊吕佶 ， 张市翊 ， 吴成柯.通佶原理 ［ MJ.5 版.北京 ： 国防工业山版社 ,2001:77 -78. 徐斌.基 T- FPCA 的 LDPC 码译码器研究 ［ D ］ . 厦门 ： 华侨人学 ,2018. 龙光利.基丁 CPLD 的 HDB3 码编解码电路的设计 ［ J ］ . 微计算机佶息 ,2010,26 (2):169-171. 谢文涛.基丁 SOPC 技术的 HDB3 编码器设计 ［ DJ. 西安： 长安人学 ,2014. 李春晖.基丁 System View 的 HDB3 编码器设计 ［ J ］ . 佶息通佶 ,2014 (9) ： 41, 郝志强 ， 刘兴斌 ， 胡金海 ， 等.基于 FPGA 的 HDB3 编解码方法及其在阵列电导探针流动测井中的应用 ［ J ］ . 石汕仪器, 2012,26 (2) ： 76 -79. ［ 4 ］ ［ 5 ］ ［ 6 ］ ［ 7 ］ ［ 8 ］ 程斌.三阶高密度双极性 HDB3 码编解码的 VHDL 设计及仿贞 ［ D ］ . 苏州 ： 苏州大学 ,200& 王晓聪 ， 何永泰.基于 FPGA 的 HDB3 码编码器优化设计与分析 ［ J ］ . 现代电子技术 ,2011,34 (24) : 146 - 14 & ［ 9 ］ ［ 10 ］ 潘松 ， 黄继业. EDA 灾用教程 ［ M ］ . 北京 ： 科学出版社 ,2005 ： 77 -79.
2024年4月3日发(作者：节哲彦)
第
31
卷第
3
期
2019
年
9
月
河南工程学院学报
(
自然科学版)
JOURNAL
OF
HENAN
UNIVERSITY
OF
ENGINEERING
Vol.
31,
No.
3
Sept.
2019
基于嵌入式的图像特征匹配系统设计
张开生
，
赵小芬
，
李霞
(陕西科技大学电气与控制工程学院，
陕西西安
710021)
摘要
：
在计算机视觉研究领域
，
一个非常重要的研究项目是希望让机器可以获得像人一样观察世界的能力
。
因此，
提
出了一种将嵌入式
Blackfi
n
微处理器与融合后的图像特征匹配算法
(
SIST
)
相结合的设计方法
。
首先利用最大埔方法将图像
清晰化
，
然后采用
SIST
算法进行图像特征点匹配
，
进而提高准确度
。
实验发现
，
当
ratio
值为
0.62
时
，
图像具有最大匹配度
。
实验证明本设计不仅解决了图像数据量大
、
难处理的问题
，
也在一定程度上提升了图像的匹配度
，
为图像处理研究提供了新
思路
。
关键词
：
嵌入式
;
图像特征
;
匹配度
中图分类号:
TP399
文献标志码:
A
文章编号
=
1674
-330X(2019)03
-0060
-06
Design
of
image
feature
matching
system
based
on
embedded
system
ZHANG
Kaisheng
,
ZHAO
Xiaofen
,
LI
Xia
(College
of'
Electrical
and
Control
Engineering
»
Shaanxi
University
of
Science
and
Technology
i
XVan
710021
?
China)
Abstract
:
In
computer
vision,
it
is
a
very
important
research
purpose
to
let
the
machine
gain
the
ability
to
observe
the
woild
like
a
human
beings.
This
paper
is
based
on
embedded
image
feature
matching
system
design.
A
design
method
combining
the
embedded
Blackfin
microprocessor
with
the
fused
image
feature
matching
algorithm
(SIST)
is
proposed.
First
the
maximum
entiopy
method
is
used
to
sliaipen
the
image,
then
SIST
algoritlim
is
used
to
perform
image
feature
point
matching,
and
improve
accuracy.
It
is
found
tlirougli
experiments
that
in
this
system
,
when
the
ratio
is
0.
62,
tlie
image
lias
the
maximum
matcliing
degree.
Proved
by
experiment
,
tliis
design
not
only
solves
tlie
problem
that
the
amount
of
image
data
is
difficult
to
handle
,
but
also
increase
the
image
matching
degree
to
some
extent
,
providing
innovative
ideas
for
image
processing
reseaich.
Keywords
:
embedded
system
；
image
feature
；
matching
degree
人类与机器在观察物体时，
最大的一个区别就是人类的视觉系统具有一定的尺度或旋转不变性主
要体现为人眼在识别图像中的物体时
，
无论图像处于哪个位置
，
人类都可以根据物体特征进行辨识
。
如何
让计算机在识别物体时也具有这样的能力
，
始终是计算机领域的需家们思考的问题
。
由丁图像信息的数据量
❷
大⑵
，
在处理的过程中很可能发生数据丢失
、
处理困难等问题
。
因此,考虑采
用嵌入式芯片
Blackfin
作为微处理器进行数据管理
、
分析和处理
d
结合融合后的
SIST
算法
，
设计了一种
基于嵌入式的图像特征匹配系统，
不仅提升了图像特征的匹配度
，述解决了图像信息数据量大且易丢失
、
难
处理的问题
。
1
系统总体设计
本系统包括硬件和软件两部分
。
其中
，
硬件部分包括图像采集模块
、
图像预处理模块
、
缓存器
、
微处理
器
Blackfin
与图像处理单兀
，
软件部分主要包括最大爛方法和
SIST
算法相结合的实现。
系统总体结构如
图
1
所示
。
收稿日期
:2019
-04
-22
基金项目
：西安市科学技术局科技创新引导项目
(201805023
YD1CG7(5))
作者简介
：
张开生
(1963
—
),
男
，山西运城人
，
教授
，
博士
，
主要研究方向为嵌入式系统应用
第
3
期
张开生
，
等
：
基于嵌入式的图像特征匹配系统设计
.
61
•
2
硬件设计
2.1
微处理器选型
在图像处理过程中
，
图片的数据量往往非常庞大,
并且还需耍结合识别算法,所以对处理器的耍求一般很
高
。
另外
，由于目前对图像实时性处理和传输的要求越
来越高
，
所以一方面耍求图像处理算法尽量优化
、
精简
，
(
愀处蜩
I
另一方面也对图像处理主芯片的内核处理能力
、内部总
线架构
、
数据传输能丿
J
、
外围接口
，
以及硬件整体架构和
指令集对预处理算法的支持提出了更高的要求。
图
1
系统总体结构
Fig.
1
System
overview
Blaekfin
系列处理器的硬件架构专门针对图像处理进行优化
，
多个
DMA
通道和可灵活配置的
Cache
能
很好地解决大运算量
、
高数据吞吐率的图像处理应用要求
。
在图像处理应用中
，
虽然对图像数据进行的传
输也可由软件实现，
但这样会消耗掉大量的
CPU
时钟周期
，
从而使
DSP
的高速数据处理能力难以得到发挥
如果由
DMA
独立负责数据传输
，
那么在系统内核对
DMA
进行初始设置并启动后
，
DMA
控制器就可在无须
内核参与的情况下直接把图像数据从
PPI
接口传输至
SDRAM
存储器进行存储
。
因此
，
本系统采用
Blaekfin
系列的
ADSP
-
BF533
型处理器作为主控制器对图像数据进行分析
、
计算和管理
。
2.2
图像采集模块
目前常见的图像采集模块采用电荷耦合器件
(CCD)
实现图像的获取
[5
^
6]
o
CCD
是一种用电荷量
灵敏就走器
表示信号大小
、
用耦合方式传输信号的探测兀件
，
具
有自扫描
、
波谱范围宽
、
畸变小
、
体积小
、
质量轻
、
噪声
低
、
功耗小
、
寿命长
、
可靠性高等一系列优点
，
可做成
集成度非常高的组合件
。
木系统采用
CMOS
图像传感
器代替数字相机作为图像源采集装置
，
不仅成木低
、
控
制
电
路
输
岀
放
大
器
垂
直
移
位
器
先敏元
阵列
ir
水平移位器
功耗低
，
而且集成度相对较高可
。
其工作原理如图
2
所示
。
时序电路
2.3
图像预处理
图像预处理主耍包括
3
部分
：
噪声滤除
、
A/D
转
图
2
CMOS
图像传感器原理
Fig.
2
Schematic,
diagram
of
CMOS
image
sensor
换与数字信号的放大
。图像噪声是原始图像中的十
扰信息
，
图像噪声的存在势必会降低图像的清晰度
，
故进行图像的去噪处理颇为重耍
，
此时输山的信号为带
有少量于扰噪声的模拟信号
。
由丁处理器只能处理数字信号
，
所以耍进行模拟信号和数字信号之间的转
换
。
虽然图像采集中的
CMOS
传感器具备模
、
数转换的功能
，
但是为确保所有的模拟信号均被转换为数字信
号
，特在预处理部分再次进行
A/D
转换
，
已被转化的数字信号无须转换
。再把转化后的数字小信号经过数
字放大器的作用
，
经缓存器输山到微处理器中进行信号的分析和处理
。
2.4
图像处理模块
本系统采用的图像处理模块
Blaekfin
微处理器是一类专为满足当今嵌入式音频
、
视频和通信应用的计
算要求和功耗约束条件而设计的
16-32
位新型嵌入式处理器
，
它具有高达
400
MHz
的时钟速率
，
内置
116
KB
随机存储器
，
以及可选择的
4
Mbit
串行
(SPI)
闪存
，
可完全支持图像数据的处理
。
另外
，
木设计在微
处理器前加上缓存器
，
经过预处理的数字信号先暂存在缓存器中
，
这样就可以避免大量数据直接进入处理
器造成拥塞
。
3
软件设计
本系统基丁
MATLAB
软件平台进行仿真实验
。
采用最大爛方法对图片进行处理,使图像清晰化
，
然后
•
62
•
河南工程学院学报
(
自然科学版)
2019
年
将处理后的图片在
MATLAB
中运用
SIST
算法进行图像特征的匹配
。
下面将对这两种算法作详细的介绍
，
然后提山将两种算法融合的新方法
。
3.
1
原始算法
3.1.1
原始算法
1
—
最大爛算法
直方图的拉伸和均衡化都能突出图像中隐藏的特征点
。
图像显现出的特征点越多
，对应的图像匹配度
越高
。
最大爛法的核心思想是使选择的阈值分割图像目标和背景区域两部分灰度统计的信息量最大
。
首
先
，
根据信息爛定义
Z
：
]
H
(
X)
二
工
p
(
%
二他
)
1
隅
2
----------
，
(
1
)
X
的具体内容与信息量无关
，
所以爛可以表示为
H
(%)
=
_
工
p
(x)
log
2
:
)
,
(2)
式中
：
0
W
H(X)
W
log
2
I
X
I
o
计算原始图像的信息爛
H
。
，
选择最大
、最小灰度的均值为初始阈值:
T
。
；
根据绻将图像分割为
G
1
和
G
2
两
个区域
，
均值分别为陆和
M
2
，
更新阈值为
T
2
=
0.5
*
(陆
+
M
2
)
；
再计算
G]
和
G
2
的信息爛
H
d
和
H
b
,
比较
H
d
+H
「
与
H
o
的大小
,
如果相等或在规定的范围内
,
或者达到最大迭代次数
，
则将
T
2
定义为最终阈值输出
，
否
则
T
o
=
T
2,H
0
=
H
d
+/,
重复分割直到满足条件
。
3.1.2
原始算法
2
—
—
SIST
算法
SIST
算法的主要思路:首先构造图像的尺度空间
，
然后在尺度空间中搜索图像的极值点
，
由极值点再建
立特征描述向量
，
最后用特征描述向量进行相似度匹配
。
该算法的步骤如下
：
①
构造尺度空间
同一物体在不同的观测精度下呈现出的不同表象就构成了
一组初读空间
。
由于人类的视觉系统具有
一定的尺度不变性
，
所以无论人们从哪个角度去观察物体
，
总能轻而易举地辨识出来。
如果想把这一思想
运用到机器上
，使机器可以通过物体之间的相同特征点来对物体进行辨识
，
可以通过卷积来计算构造不同
的尺度空间
。
生成多尺度空间的高斯函数被称作
“
高斯核
”
，
二维图像在不同尺度下的尺度空间可表示为
L
(x,y,
a)
=
G
(x,y,
a)
*
I
Cx,y)
,
(3)
式中:
G
(x,y,a)
为高斯核函数。
1
心+
”
2
G
(x,
y,
cr)
=
------
e_2
”
2
,
2
tto
-
2
(4)
式中
：
/(x,y)
是图像点的像素坐标;
o
■为尺度因子
;L(.x,y,a>
代表图像的尺度空间
。
②
寻求特征点
在每个候选的位置上
，
通过一个拟合精细的模型来确定位置和尺度
。
关键点的选择依据丁它们的稳定
程度
。
为了高效地在尺度空间内检测山稳定的特征点
，
就耍使用差分高斯
(
DoG)
作为判定的依据
。
它的定义
由式
(
1)
可得
D
(x,y,
a)
=
[G
(x,y,
ka)
-G(x,y,cr)
]
*
/
(x
,
y)
=
L
{x,y,ka)
-
£
(x,y, » (5) 在得到原始图像 SIFT 候选特征点的集合后 ， 从中挑选山稳定的点作为最终图像的特征点。 因此 ， 必须对 关键点精确定位,可以通过 DoG 函数进行曲线拟合寻找极值点 ， 所以需耍再次使用泰勒展开式将 DoG 的定 义式进行展开 ， 得 D (x) = D + + 丄 yAx, dx 2 a% (6) 解得△ ” = 苑孚警 1 O dx dx 第 3 期 张开生 ， 等 ： 基于嵌入式的图像特征匹配系统设计 . 63 • 方向赋值③ 由①和②已经找到了关键点 ， 然后对特征点的方向进行赋值 ， 其方向是由邻域像素的梯度分布特性来 确定的 。 关键点定位后 ， 特征点的尺度值也就相应确定，得到高斯图像为 厶 （ x,y ， cr ） = G （ x,y ， cr ） */ （ x,y ） 。 (7) 利用有限弟分可以得到所有特征点的梯度模值与方向 ，其计算公式为 (% - 1 ? y) ] 2 + _L G :, y + 1) - L (%? y-i ) F 0 ( ： i ： , y) = tan (8) (9) -1 r L (x, y + 1) - L <3 - 1) 1 〔 厶& + 1, y) -LG ： - 1 ， y ） 卜 特征描述④ 在对关键点完成赋值之后 ， 要对这些特征点进行描述 。可用一组向量将这些特征点描述出来 ， 使其不随 光照视角等变化而改变 。 这个描述不但包括关键点 ， 述包含关键点周围对其有贡献的像素点 ， 并且描述符应 该有较强的独特性 ， 以便提高特征点正确匹配的概率。 具体做法:首先将关键点附近划分成 d * d 个小区域 ， 每个小区域拥有 ma 个像素点 ， 实际计算区域为 ma Cd + 1 ） ，然后旋转 0 角 ， 旋转后采样点的坐标为 广']= 「 50 -sin pv] Ly" L sin 0 cos 0 」 、 y 」 （ 10 ） 然后用高斯窗口对其进行加权运算 ， 计算每个梯度方向的累加值 ， 形成一个种子点 ， 每个种子点具有 8 个方向的向量信息 。 这种方式不仅增强了算法的抗噪声能力 ， 而且对丁含有定位误差的特征匹配也具有比 较理想的容错性 。 3.2 融合算法 图像越清晰,对应的图像匹配度就越高 。 现有的图像匹配方法大多采用单一的算法 ， 直接对原有图像 进行特征点的匹配 。 根据图像匹配核心思想 ， 首先增加图像的清晰度 ，采用最大爛方法对图像进行处理 ， 使 选择的阈值分割图像目标背景区域两部分灰度统计的信息量最大,进而使图片的清晰度增加 。 然后 ， 将清 晰化后的图片运用 SIST 算法进行图像的匹配。 图像处理阈值一般选取 0.4 -0. 8, 经大量实验 ， 发现当木系 统的阈值选取为 0.62 时 ， 图像具有最高的匹配度 。 从实验结果来看 ， 本系统结合嵌入式技术与图像处理技 术 ， 使结果的准确度提高 、 鲁棒性增强 。 4 结果分析 4. 1 硬件结构 4.1.1 系统硬件架构 系统主要由 ADSP - BF533 型处理器 .MT9V022 型 CMOS 传感器 . SDRAM > Flash 等构成 ， 硬件结构如图 3 所示 。 4.1.2 CMOS 图像采集接口电路 （ 见图 4 ） p 卫 (jq MI9V022 皿 h 7 g SDRAA1 GPIO CO 接口 图 3 硬件架构 图 4 CMOS 图像采集接口电路 Fig- 3 Hardware architecture diagram Fig. 4 CMOS image acquisition interface circuit ・ 64 ・ 河南工程学院学报 ( 自然科学版) 2019 年 系统采用了 Micnm 公司生产的 MT9V022 型 CMOS 传感器。 该传感器的有效分辨率为 752 x480, 具有 高达 110 dB 的动态范围 ， 并具有全局快门和全帧读 ill 模式 ， 能够最大限度地减少物体移动时拍摄所产生的 模糊和变形。 传感器的数据接口宜接与 ADSP-BF531 型处理器的 PPI 接口连接 ，采集到的图像数据直接存 放到位于 DSP 系统 SDRAM 里面的图像缓冲队列里 。处理器使用通用 I/O 口模拟 IIC 总线对传感器进行操 作 ， 可实时控制和读出传感器的 「 作状态 。 4.2 图像匹配结果分析 在进行实验时， 选取了多幅图片进行图像特征点的匹配 ， 图片的细节 、 复杂程度都不相同 ， 逐一进行匹 配 ， 结果如图 5 所示 。 图 5 中 ， 经过最大爛方法处理的图像对比度增强 ， 图像更加清晰 。 将处理后的图像再次用 SIST 算法在 MATLAB 中编程实现 ，可得如图 6 和图 7 所示的匹配后的图像 。 图 6 中左图是未做处理的图像匹配 ， 匹配点 数为 8 ； 图 6 中右图是经过最大爛方法处理后的更加清晰的图片 ， 此时匹配点数增至 12 。 图 7 所示的图片特 征明显 ， 匹配数量大 。 图 7 左图为未做任何处理的直接进行图像匹配后的效果图 ， 图 7 右图为处理后的特征 匹配图 。 显然,右图的匹配点数多丁左图 。 由丁篇幅限制 ， 不再对所有进行实验的图片一一列举 。 StrtCF ） ISfD 亶面 （ D 》 丈件 （ I 彌 （ I 査看讣 JSA （ TBr S^il 册口 （ V ABlll ■» Ef — ： d Ji ® 駁 Y • 巴帀目 B 口 原團 刘判 Ife 埶 9LKC 工 0 （ 奠茴卩 占曰 hi A b *. - 7 ， k 羽比度翳強 O matched pointB 1 matched poinls 2 Q matched points 1 matchsd panntfi i 图 6 实验对比图 1 Fig. 6 Experimental comparison with figure 1 文件旧够旧 磁 【 I) IMTD 飘 (D) ®Q{W> i 文母旧輛旧臥 (I) 冃口 ㈣ 辄助 (H) □ d d X 0 ® ® t Q □ 0 S Q 0 matched points 1 O matched points t + matched points 2 matched points 2 图 7 实验对比图 2 Fig. 7 Experimental comparison with figure 2 下面列出实验过程中原始算法与木系统采用的融合算法匹配点数的比较 ， 如表 1 所示 。 表 1 原始算法与融合算法匹配点数比较 Tab. 1 Comparison of original algorithm and fusion algorithm 算法 仿真图 1 仿真图 2 仿真图 3 仿真图 4 仿真图 5 仿真图 6 仿真图 7 原始算法匹配点数 融合算法匹配点数 12 19 20 10 31 25 63 27 76 41 62 35 78 35 由表 1 可知 ， 使用融合后的算法 ， 图像匹配点数相对于原始算法处理增长近 2 倍 ， 从而验证了融合后的 算法能有效实现图像特征点的匹配 。 由 T- SIST 算法存在运彳亍速度慢 、 时间复杂度高的问题 ， 本系统通过 SIST 算法与最大爛算法相融合实现 了图像特征点的匹配 ， 实验结果表明融合后的算法在时间性能上有了明显提高 。 下面列出实验过程中原始 算法与木系统的融合算法匹配时间的比较 ， 见表 2 。 第 3 期 张开生 ，等 ：基于嵌入式的图像特征匹配系统设计 表 2 原始算法与融合算法匹配吋间比较 Tab. 2 Comparison of matching time between oiiginal algorithm and fusion algorithm • 65 ・ 项目 原始算法匹配时间 /ms 仿贞图 1 1.440 1.045 仿贞图 2 2.424 1.925 仿贞图 3 1.236 1.705 仿贞图 4 3.075 3.465 仿贞图 5 3.243 仿贞图 6 4.923 3.410 仿贞图 7 4.257 4.290 融合算法匹配时间 /ms 4. 180 分析表 1 和表 2 可以发现 ， 融合后的算法在实现高清晰度图像的情况下提高了图像特征点提取的精确 度 ， 相比于原始算法 ， 大大缩短了特征点匹配所消耗的时间 ， 时间缩短至原始算法的三分之一左右 。 5 结语 基丁嵌入式 Blackfin 微处理器 ， 结合最大爛方法与 SIST 算法的融合 ， 设计山图像特征匹配系统 ， 避免了 图像处理中仅靠软件处理所造成的处理速度慢 、 精度不高 、 数据量大且易丢失等情况 ， 增强了系统的可靠 性,对有大量细节 、 复杂程度不同的图片进行了特征匹配,结果表明每幅图片都能很好地进行匹配 。 参考文献 ： ［ 1 ］ 孙健钧 ， 赵岩 ， 王世刚.基丁图像梯度佶息强化的 SIFT 特征匹配算法改进⑴.吉林人学学报(理学版) ,2018,56 (1) ： 82 - 88. 熊祥光 ， 陈熙 ， 曹永锋 ， 等.图像插值空间自适应人容量无损佶息隐藏算法 ［ JJ. 计算机科学与探索 ,2018 (12) : 1961 - 1973. 丁鹏 ， 干.嘉成 ， 贾伟岗.基 T Blaekfin561 的嵌入式车牌识別系统 ［ J ］ . 电子科技 ,2013,26 ( ⑵ ： 135 - 137. ［ 2 ］ ［ 3 ］ ［ 4 ］ ［ 5 ］ ［ 6 ］ 张晶晶.如何促进嵌入式系统的内部完善和科学发展 ［ J ］ . 数码世界 ,2017 (11) ： 233, 程杰.基于 CCD 光电成像靶面的舰炮校靶装置设计与灾现 ［ J ］ . 数字技术与应用 ,2018,36 (10) : 176 - 177. 唐子贤种基于 ARM 相机接口的视频采集方法的研究 ［ J ］ . 蚌埠学院学报 ,2016,5(6):13-16. ［ 7 ］ 王欣宇 ， 刘豪杰 ， 范百兴.金站仪目标口动识别与照准方法研究 ［ J ］ . 测绘工程 ,2018,27 (11):15 -22,2 & ( 上接第 53 页 ) 参考文献 ： ［ 1 ］ ［ 2 ］ ［ 3 ］ 段吉海 ， 黄智伟.数字通信系统建模与设计 ［ M ］ . 北京 ： 电子工业出版社 ,2004:1 -28 & 樊吕佶 ， 张市翊 ， 吴成柯.通佶原理 ［ MJ.5 版.北京 ： 国防工业山版社 ,2001:77 -78. 徐斌.基 T- FPCA 的 LDPC 码译码器研究 ［ D ］ . 厦门 ： 华侨人学 ,2018. 龙光利.基丁 CPLD 的 HDB3 码编解码电路的设计 ［ J ］ . 微计算机佶息 ,2010,26 (2):169-171. 谢文涛.基丁 SOPC 技术的 HDB3 编码器设计 ［ DJ. 西安： 长安人学 ,2014. 李春晖.基丁 System View 的 HDB3 编码器设计 ［ J ］ . 佶息通佶 ,2014 (9) ： 41, 郝志强 ， 刘兴斌 ， 胡金海 ， 等.基于 FPGA 的 HDB3 编解码方法及其在阵列电导探针流动测井中的应用 ［ J ］ . 石汕仪器, 2012,26 (2) ： 76 -79. ［ 4 ］ ［ 5 ］ ［ 6 ］ ［ 7 ］ ［ 8 ］ 程斌.三阶高密度双极性 HDB3 码编解码的 VHDL 设计及仿贞 ［ D ］ . 苏州 ： 苏州大学 ,200& 王晓聪 ， 何永泰.基于 FPGA 的 HDB3 码编码器优化设计与分析 ［ J ］ . 现代电子技术 ,2011,34 (24) : 146 - 14 & ［ 9 ］ ［ 10 ］ 潘松 ， 黄继业. EDA 灾用教程 ［ M ］ . 北京 ： 科学出版社 ,2005 ： 77 -79.