2024年5月9日发(作者：富幻翠)
第
２０２
３
２
７
卷
年
１
第
月
１
期
ChineseJo
液晶与显示
urnalofLi
q
uidCr
y
stalsandDis
p
la
y
s
V
ol．３
J
７
an
N
．２０
o
２
．１
２
文章编号
:
１００７Ｇ２７８０
(
２０２２
)
０１Ｇ００９７Ｇ０９
基于
FPGA
的自适应实时视频梯形
矫正系统设计与实现
索军红
,
张冠茂
∗
,
乔
(
兰州大学信息科学与工程学院光电子与电磁信息研究所
鑫
,
赵汉卿
,
甘肃兰州
７３００００
)
摘要
:
针对监控系统中由于摄像机与监控画面不垂直导致显示画面梯形畸变的问题
,
提出一种自适应实时视频梯形矫正
系统的硬件结构设计方案
.
首先
,
对每帧画面依次进行灰度变换
、
边缘检测
、
形态学开运算等一系列预处理
;
接着
,
基于
Houh
变换提取画面中梯形畸变的轮廓
;
然后
,
根据梯形畸变轮廓确定四对映射点坐标
,
并运用连接点法计算矫正参
数
;
最后
g
,
运用灰度插值法得到矫正图像
.
整个过程利用流水线和乒乓缓存结构对算法进行了优化
,
利用视频时序中的
场消隐时间进行计算
,
在大幅减少硬件资源消耗的同时提高了算法效率
,
并在
:
在视频分辨率为
ALINXAX７１０３FPGA
硬件开发平台上
加以实现
.
实验结果表明
±
矫正精度为
关
３
中图分类号
０
°
以内的监控画面
,
键
词
:
梯形矫正
;
监控系统
;
:
TN９１１．７３
文献标识码
H
１
°
ou
,
g
基本满足监控系统的自适应性
６４０×４８０
、
刷新率为
６０Hz
的情况下
,
系统能够很好地矫正梯形畸变范围在
h
变换
;
、
实时性等要求
.
:
A
F
d
P
oi
G
:
１
A
芯片
０．３７１８８
/
CJLCD．２０２１Ｇ０１７０
Ada
p
tivereal
a
Ｇ
n
ti
d
m
i
e
m
vi
p
l
d
e
e
m
o
e
t
n
r
t
a
a
p
ti
e
o
z
nb
oida
a
l
se
c
d
or
o
r
nF
ecti
P
o
G
n
A
s
y
stemdesi
g
n
SUOJunＧhon
g
,
ZHANGGuanＧmao
∗
,
QIAOXin
,
ZHAOHanＧ
q
in
g
(
Instituteo
f
O
p
toelectronicsandElectroma
g
neticIn
f
ormation
Schoolo
f
In
f
ormationScienceandEn
g
ineerin
g
,
LanzhouUniversit
y
,
Lanzhou
,
７３００００
,
China
)
Abstract
t
:
Aimintthe
p
roblemoftraezoidaldistortionofthedislaed
p
icturedue
t
hecamer
g
aisno
g
t
p
a
er
p
p
endiculartothem
p
onito
y
rin
g
ne
p
i
c
ct
o
u
rr
r
e
e
c
i
t
n
io
t
ns
hem
y
st
o
e
n
p
mi
ito
y
r
s
in
p
g
ro
s
p
y
o
s
s
t
e
e
d
m
．
,
Fi
a
rs
h
t
t
a
o
l
r
t
y
d
h
w
e
a
a
f
r
a
s
e
c
er
s
t
i
t
t
e
r
h
so
u
a
c
t
Ｇ
p
u
re
re
r
d
o
e
c
s
e
i
ss
no
in
fa
u
na
ch
d
a
a
s
t
g
i
r
v
a
ere
c
a
a
l
l
Ｇ
e
ti
t
m
ra
e
n
v
s
i
f
d
o
e
r
ok
mat
e
io
s
n
to
,
ededetection
,
andmorholoicaloenin
,
f
are
p
carriedo
g
ut
s
inse
q
uenc
y
e
s
foreachframe．Then
,
b
g
asedontheHou
g
htr
p
ansfo
g
rm
,
th
p
eout
g
li
o
n
p
eo
era
f
ti
t
o
h
n
e
收稿日期
:
基金项目
:
２
国家重点研发计划
０２１Ｇ０６Ｇ２５
;
修订日期
(
No
:
２
．２
０
０
２
１
１Ｇ
９
１
Y
０Ｇ
F
０
A
１
０
．
新创业计划项目
(
No．cxc
y
２０２００２
)
４０５４０３
);
中央高校基本科研基金
(
No．lzu
j
bk
y
Ｇ２０１９Ｇct０６
);
兰州大学创
S
m
u
e
p
n
p
t
o
a
r
l
te
R
db
ese
y
ar
N
c
a
h
tio
F
nK
u
e
y
Resea
h
rc
e
ha
Ce
n
n
dD
tral
eve
U
lo
n
p
iv
m
e
e
rs
n
i
tP
ties
ro
g
(
r
N
a
o
m
．l
o
z
fC
u
j
b
h
k
i
y
n
Ｇ
a
２０
(
１
N
９
o
Ｇc
．２
t
０
０
１
６
９
)
YFA
a
０
n
４
z
０
h
５
o
４
u
０３
)
U
;
ni
F
v
u
er
n
s
d
i
a
t
Ｇ
InnovationandEntre
p
n
r
d
e
s
ne
f
u
o
r
r
shi
t
p
Pro
j
ect
(
No．cxc
y
２０２００２
)
．
;
L
y
∗
通信联系人
,
EＧmail
:
zhan
gg
m＠lzu．edu．cn
.. All Rights Reserved.
９８
液晶与显示
第
３７
卷
t
d
r
c
c
a
e
a
l
t
p
c
e
ezoiddistortioninthe
p
ictureisextracted．Afterthat
,
four
p
airsofma
pp
in
gp
ointcoordinatesare
u
r
l
m
at
i
e
ne
t
da
he
c
c
c
o
o
r
r
r
d
e
i
c
n
ti
g
tothetra
p
ezoidaldisto
,
rtioncontourandtheconnection
p
ointmethodisusedto
r
t
i
o
h
t
r
eh
h
re
m
ct
a
,
e
rd
a
d
n
i
w
du
ma
are
s
g
r
e
e
e
s
．
s
t
T
o
h
h
u
ev
ew
on
rcec
er
h
p
a
t
o
i
o
n
c
l
r
a
e
am
s
l
p
u
b
r
e
m
l
o
te
p
a
c
r
t
n
e
s
i
k
s
o
i
s
．F
na
n
u
i
g
s
n
e
a
n
t
d
i
s
ll
m
p
y
i
e
i
p
m
i
e
t
p
nt
l
h
in
e
g
ra
y
Ｇscaleinter
p
olationmethodisusedtoobtainthe
rov
h
e
e
ev
an
st
i
d
h
d
ea
e
p
os
in
g
l
g
e
Ｇ
p
o
q
ri
u
o
t
e
n
h
n
g
me
ce
bu
t
f
f
oc
fer
fici
a
e
l
structur
n
c
c
u
y
la
．
t
I
e
t
,
e
is
w
too
p
timizetheal
g
oＧ
i
hi
m
c
p
h
le
g
m
re
e
a
n
t
t
l
e
y
do
red
nt
uc
h
es
e
v
A
i
u
d
L
r
e
I
ew
o
N
r
X
i
e
t
s
A
h
ol
X
t
u
７
h
t
e
i
１
o
０
t
n
３F
ra
i
p
s
P
e
６
G
z
４
oi
０
Ah
d
×
al
４
a
d
８
r
i
０a
dwa
sto
n
r
r
d
e
tio
t
d
h
e
nr
e
v
r
el
a
e
n
f
o
g
r
p
ew
e
m
sh
en
i
r
t
t
a
h
t
p
i
e
la
n
i
t
s
fo
±３
６
r
０H
m．
０
°
,
z
T
a
,
h
n
t
e
dt
h
e
e
x
h
s
p
ec
y
e
s
r
t
i
o
e
m
r
mc
ent
rect
a
a
i
n
lr
ona
c
e
o
s
r
u
c
r
l
c
e
t
u
c
s
t
s
ra
t
h
c
h
o
y
em
wt
is１
o
h
°
n
a
i
tw
．
to
B
r
a
i
h
s
n
e
ic
gp
nt
all
i
h
y
c
e
Ｇ
t
t
hesstemcanmeettheselfＧadatabilitndrealＧtimereuire
,
Ke
y
w
y
ords
:
tra
p
ezoidalcorrection
p
;
moni
y
to
a
rin
g
s
y
stem
;
H
q
ou
g
h
m
tr
e
a
n
n
ts
sf
o
o
f
rm
th
;
em
FP
o
G
ni
Ac
tor
h
i
i
n
p
g
s
y
stem．
１
引
言
２
梯形矫正系统的构成及其工作
原理
图像作为承载信息的主要载体
,
其准确性
至关重要
,
但在获取图像的过程中往往会受到
２．１
梯形矫正系统的硬件构成
各种因素的干扰
,
使最终成像发生畸变
,
从而影梯形矫正系统结构框图如图
响人们对实际情况的分析与判断
.
图像畸变可由
１
所示
,
其主要
分为非线性畸变和线性畸变
.
非线性畸变主要
是由于相机的制作工艺
(
块
Do
O
、
u
V
按键模块
bl
５
eD
６４０
摄像头模块
、
ataR
、
以及其他必要模块
ate３
)
存储模
FP
不完善造成的
,
致使实
块
GA
模块
、
、
(
电源模块
液晶显示
DD
、
器
R
时钟
模
３
际成像模型与理想针孔成像模型不一致
.
非线模块
、
配置电路
)
组成
.
性畸变中真实画面与最终成像之间的映射关系模块
、
灰度插值模块
、
图像预处理模块
FPGA
模块又由图像采集
、
直线检测
虽然复杂
,
但对于特定相机而言
,
映射关系是固模块
、
参数计算模块
、
定的
,
无需在拍摄过程中实时计算
,
已有许多文模块组成
.
DDR
读写模块和
DDR
控制
献对其进行了较为充分的研究
.
线性畸变与相进行矫正时
,
由
机的拍摄角度和运动状态有关
.
梯形畸变作为
O
行
V
矫
５６
正
４０
摄像头采集图像
,
线性畸变的一种
,
其成因是在实际的拍摄场景
FPGA
模块对图像进
,
存数据
,
最终由显示器显示矫正后的图像
DDR３
模块负责缓
.
中
,
受限于拍摄距离和角度
,
摄像机往往不能垂
２．２
梯形矫正系统的工作原理
直于被拍摄平面
,
造成最终成像结果产生梯形该系统的基本工作原理为
:
图像采集模块通过
畸变
[
１Ｇ９
]
法满足实
.
时
梯形畸
矫正的
变
需
矫
求
正
,
通
如
常
向
使
芝
用
慧
软
小
件
组
实
结
现
合
,
无
两
IIC
总线协议配置
O
使其按照
步投影法和
G
V
B
５
５
６
６
４
５
０
摄像头
,
４８０
的分辨率和
R
的格式将数据传
６４
递
０×
给
但矫正时间以
Harris
角点检测算法利用软件矫正
梯形畸变
,
数百毫秒计
[
１０
]
F
块和
PGA
芯片
,
最后经由图像采集模块
、
组基于
OenCV
采用连接点法矫正梯形
;
张
畸
宇
变
小
,
DDR
控制模块将数据存入
DDR
读写模
理模块读取
但只有在摄像机
p
和被拍摄平面相对位置不变的
DDR
D
３
DR
中
３
中
.
图像预处缓存的原始
图像后对其进行灰度转换
、
情况下才能进行实时矫正
[
１１
]
１
Sobel
边缘检测
、
形态
编程门阵列
(
.
本文基于现场可
学开运算等处理
[
２
]
降低后续处理运算量的目的
,
以达到滤除图像干扰
,
便于直线检测模块
信息
、
F
FieldPro
g
rammableGateArra
y
,
进行直线检测
.
X
P
IL
G
I
A
N
)
X
提出了一种梯形矫正的新思路
artixＧ７XC７A１００TＧ２FGG４８４I
,
采用配有
芯片的直线检测模块可以提取出预处理后图像中梯
AX７１０３
开发板为实验平台
,
可以实时且自适应形畸变的两条斜边
,
并将斜边参数
、
倾斜角度分别
地矫正梯形畸变
.
传递给参数计算模块和视频输出模块
.
.. All Rights Reserved.
第
１
期
索军红
,
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
９９
图
Fi
g
．１ Structure
１
di
梯形矫正系统结构框图
a
g
ramoftra
p
ezoidalcorrections
y
stem
参数计算模块利用斜边参数计算出修复梯形
畸变所需的映射参数
,
之后将其传递给灰度插值
DDR
读写模块缓存
.
通过按键可以控制选择何
种灰度插值算法
.
模块
.
视频输出模块生成视频时序信号
,
在图像显
视频流时序中相邻场同步信号间除了显示示的不同区域分别读取原始图像
、
矫正图像数据
区间之外还有一段非显示区间
,
如图和梯形畸变的斜边角度信息以及相关文字说明
,
示区间之后的非显示
２
所示
.
本设计可以利用显区间时以实现视频图像
、
矫正图像和畸变程度的同屏
间段运行直线检测模块和参数计算模块
,
再结显示
.
合错帧矫正的方法
,
即用上一帧得到的映射参
数矫正下一帧的画面
,
进而实现视频实时矫正
DDR
读写模块用于在
并负责突发读
DD
/
R
和不同模块之间
进行数据缓存
,
写请求信号和普通
的目的
.
读
/
写请求信号的转换
,
以充分利用
灰度插值模块根据矫正图像像素坐标和映射
DDR
读写操
作的高带宽
.
参数计算出对应原始图像中的像素坐标
,
取出相
应坐标的灰度值并进行计算后作为矫正图像像素
DDR
控制器模块按照固定顺序仲裁多路
的灰度值
,
由此得到矫正图像
,
并将其传输给
DDR
突发读
/
写请求
,
依据仲裁结果读
/
写
中的数据
.
DDR３
图
Fi
g
．２ Fields
y
n
２
c
场同步信号时序图
hronizationsi
g
naltimin
g
dia
g
ram
.. All Rights Reserved.
１００
液晶与显示
第
３７
卷
３
根据像素灰度值判断当前像素点是否为边缘
梯形畸变矫正系统关键模块的
点
,
进而决定是否激活写请求信号
.
FPGA
实现
FIFO
缓冲
器负责缓存边缘点坐标
.
若
据控制模块发出单个时钟周
F
期
IF
则数
读
O
不为空
,
请求
,
并在
３．１
直线检测模块
个时钟周期内不再发出
,
以保证每个边缘点
３
坐
０
直线检测模块是系统中最核心的部分
,
用标保持
于寻找画面中梯形畸变的两个腰
.
本文采用的读地址
３
也
０
个时钟周期的输出
,
供后续计算使用
,
将在这
直线检测算法为
３０
个时钟周期内循环加一
.
简单
、
易于硬件
H
[
３
]
实
ou
现
g
h
变换法
１
的方法
.
式为
:
Ho
,
u
是
g
h
一
变
种
换
计算
公
s
１
°
in
的正
θ
_
cos
、
θ
余弦函数值
_
ROM
中存储着范围内步长为
,
并依据读地址输出相应正
６０°~８９°
、
余弦函数值以供后续计算
.
ρ
值计算模块
ρ
值计算模块
１
按照
公式
(
公式
(
＝
x
cos
θ
＋
y
sin
θ
,(
１
)
会将公式
１
)
计算出
ρ
值
,
ρ
(
θ
)
坐标系中的一个点
１
)
可将
(
x
,
y
)
坐
,
将
标系中
,
y
的直线转换为
点
(
ρ
(
x
)
坐标系中的转
,
角函数的对称性在不增加存储空间的情况下将角
１
中的加法更改为减法
,
２
运算过程中
)
如此可利用三
换为
(
ρ
θ
度检测范围扩展至
变换可
,
将
)
检
坐
测
标系
直
中
线
的
的
一
问
条
题
曲
转
线
化
.
为
利
检
用
测
Ho
点
u
g
的
h
为
－８９°~－６０°
.
在一副分辨率
问题
.
６０°
６
~
４０
８９
×
°
４
、
８
－
０
的画面中
,
直线倾斜角度范围分别为
直线检测模块构成及其工作流程原理如图
８９°~－６０°
时
,
ρ
的取值范围分别为
３
所示
.
边缘图像信息由图像预处理模块输出
,
０
别计算投票地址
~８００
、
－６４０~２
.
４０
.
故可根据式
(
２
)
和式
(
３
)
分
边缘点坐标检测模块一方面基于边缘图像信息
中的视频流时序信号生成像素坐标
,
另一方面
add
a
r
d
２
d
＝
r
a
１
d
＝
d
a
r
ddr
θ
×８００＋
８８０＋６４０
ρ
＋
,(
θ
×
ρ
,(
２
３
)
)
图
Fi
g
．３ Structu
３
re
直线检测模块结构框图
dia
g
ramoflineardetectionmodule
.. All Rights Reserved.
第
１
期
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
索军红
,
１０１
其中
,
addr
１
为合并
１
模块的输出地址
,
addr
２
为
合并
２
模块的输出地址
.
独立时钟双口
相反
,
频率相同
,
以
R
实
AMI
现在
P
核的读
、
写时钟相位
单时钟周期内完成投
票
.
投票记录模块时刻记录最大得票数和次大
得票数以及它们所对应的
(
ρ
最大得票数和次大得票数对
,
θ
应
)
的
值
是
.
为
同
了
一
避
条
免
直
线
,
只有在当前得票数大于最大或次大得票数
,
且当前得票数对应的
ρ
值与最大或次大得票数
对应的
ρ
值相差超过
.
１０
个单位时
,
才会更新相
应记录
比较判断模块接收到
４
条直线的得票数
,
将
得票数最多的两条直线信息发送出去
.
３．２
参数计算模块
梯形畸变图像与矫正图像的空间变换关系如
图
４
所示
.
本系统应用连接点法对像素进行重定
位
,
连接点法相较于两步投影法
,
具有运算步骤
少
,
计算简单的特点
,
易于硬件实现
.
图
Fi
g
．４ S
p
atial
４
t
空间变换关系
ransformationrelationshi
p
利用双线性方程对该空间变换过程建模
,
即
:
{
x′
＝
k
y
′
＝
k
１
x
＋
k
２
５
y
＋
k
３
x
y
＋
k
４
,(
４
)
其中
:(
x′
x
＋
k
６
y
k
７
xk
８
(
x
,
y
)
为矫正图像中的像素点坐标
,
y
′
)
为畸变图
＋
像中
y
的
＋
像
.
素点坐标
,
公式
(
将
４
对映射点坐
４
)
中共
标
有
k
１
代入
~
其
k
８
八个未知系数
,
需要
中才能将全部系数求
出
.
以视频画面的
１
/
４
高度和
,
其与直线检
３
/
测
４
高度作为梯
形畸变的上下底边模块得到的
两条直线
(
梯形的两个腰
)
相交于
标分别设为
(
１２０
,
y
４
点
,
交点坐
(
１
３６０
,
y
),
y
２
)
３６０
,
y
３
)
４
).
其中
,
y
１
,
y
,(
１２０
(,
２
,
y
３
,
y
,
４
的计算公式为
:
ì
ï
ρ
ï
y
１
＝
１
－１２０cos
θ
１
ï
ï
ï
y
２
＝
ρ
s
２
－１
i
２
n
０
θ
c
１
os
θ
２
í
ï
s
ï
y
３
＝
ρ
１
－
ï
ï
s
３
in
θ
２
i
６０cos
θ
１
,(
５
)
ï
î
y
４
＝
ρ
２
－３６
n
０
θ
c
１
os
θ
２
其中
(
ρ
１
,
θ
１
),(
ρ
２
的两条直线信息
.
,
θ
２
)
分
s
别
in
为
θ
２
直线检测模块输出
相应的
,
以梯形畸变中较长底边为基准构造
一个矩形
,
矩形的
顶点的
４
个顶点即为畸变图像中梯形
,(
(
２
３６
)
０
,(
映射点
.
,
y
３６０
,
y
１
),(
其坐标分别为
(
３６０
,
y
２
)
或
(
１２０
,
１
y
２
３
０
)
,
,
y
(
１
１２
)
０
,
y
１２
４
０
)
,
,
３
以梯形畸变的上边是较长底边为例
),(
３６０
,
y
４
).
,
将
映射点坐标代入公式
(
４
对
ì
４
ï
k
),
得
:
ï
ï
k
１
＝１
２
ï
＝
ï
k
y
k
３
＝
k
４
＝０
１
×
y
４
－
y
２
×
ï
５
＝
ï
２４０
(
y
１
－
y
２
y
)
３
í
ï
k
６
３
y
１
－３
y
２
－
y
３
＋
y
４
,()
ï
＝
２
(
６
ï
ï
k
７
y
y
１
－
y
２
)
ï
＝
y
２
２
－
４０
ï
ï
î
k
８
＝
y
２
×
y
(
１
y
＋
１
y
－
３
y
－
２
y
)
４
３
－
y
１
×
y
４
依据式
(
工作流程如图
５
)
和式
５
(
６
所示
)
设计的参数计算模块结构及其
２
(
y
１
－
y
２
)
.
坐标计算模块实现计算式
(
钟频率
５
)
所需的功能
,
故在该模块前后各添加一个异步
,
其运行最大时钟频率低于系统时
以解决信号的跨时钟域传输问题
.
参数求取模块
FIFO
,
完成式
(
了浮点数形式进行计算
６
)
的计算
,
为了节省计算资源
.
,
全程采用
．３
灰度插值模块
矫正图像和畸变图像的像素点坐标并非一
一对应
,
通过公式
(
一个小数
,
此时就需
４
)
根
得
据
到
邻
的
近
映
像
射
素
坐
的
标
灰
值往
度
往
值
是
对
该坐标点进行插值
,
常用的灰度插值算法有最
邻近法
、
双线性插值法和双三次插值法
.
最邻
近法选用距离映射坐标最近像素点的灰度值作
为映射坐标的灰度值
,
计算最为简便
,
但经过插
值后得到的图像灰度不连续
,
在图像边缘处会
出现较明显的锯齿状
.
双线性插值法基于映射
y
.. All Rights Reserved.
３
１０２
液晶与显示
第
３７
卷
坐标
４
个邻像素的灰度值
,
在两个方向上进行值作为
y
的灰度值
.
设
y
１
点处灰度值为
f
１
线性加权后得到映射坐标的灰度值
,
由此得到
,
y
２
点处灰度值为
f
２
的插值后图像灰度连续
,
但计算比较复杂
,
可能
f
的公式为
,
则运用双线性插值法计算
y
点
灰度值
:
会导致图像轮廓模糊
.
双三次插值法利用三次
f
＝
(
y
２
－
y
′
)
×
f
１
＋
多项式逼近理论上的最佳插值函数
,
映射坐标
(
y
′
－
y
１
)
×
f
２
,
的灰度值由其邻近的
１６
个像素点灰度值加权
(
７
)
内插求得
,
因此所得插值后图像效果最好
,
但计
算量也最大
.
图
Fi
g
．６ S
６
i
简化的坐标映射关系
m
p
lifiedcoordinatema
pp
in
g
灰度插值模块系统结构及其工作流程如图
７
图
Fi
g
．５ Struct
５
ur
参数计算模块系统结构
所示
,
输入数据流分配单元
、
双端口
RAM
和输出
edia
g
ramo
数据流选择单元共同构成乒乓缓存结构
,
双端口
m
f
o
p
d
a
u
r
l
a
e
metercalculation
R
行所对应的畸变图像像素值
AM
大小为
６４０×１６bit
,
以缓存矫正图像
.
坐标计算模块先通
当前
从计算复杂度
、
缓存资源消耗量的角度考虑
,
过视频时序信号生成矫正图像像素坐标
,
再结合
在硬件实现上放弃了双三次插值算法
,
为了满足
矫正参数计算映射坐标
,
最后由映射坐标得到其
不同需求
,
最邻近法和双线性插值法均被采用
,
在
邻近像素坐标和相应权值
,
并分别送给乒乓缓存
使用过程中通过按键进行选择
.
结构和插值模块
.
乒乓缓存结构将邻近像素坐标
通过公式
(
作为读地址并输出相应灰度值给到插值模块
.
插
正图像之间映射坐标对的横坐标
４
)
和公式
(
６
)
可知
(
,
行数
畸变图像和矫
)
一致
,
如
值模块接收灰度值和权值
,
并基于插值算法计算
图
出当前矫正图像像素的灰度值
,
插值算法的选择
邻近法时
６
所示
,
故可以简化相应灰度插值算法
.
采用最
,
取距离映射点
y
′
最近像素点
y
２
的灰度
由按键控制
.
图
Fi
g
．７ Structur
７
e
灰度插值模块系统结构
dia
g
ramof
g
ra
y
inter
p
olationmodule
.. All Rights Reserved.
第
１
期
索军红
,
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
１０３
４
实验结果及分析
为了验证本文所设计梯形矫正系统的可行性
及稳定性
,
使用
XILINX
公司的
Verilo
g
语言编写系统程序
,
采用
布局布线
Vivado
软件为程序编译平台
,
对
程序进行综合
、,
最终生成比特流文件并
烧录进
OV５６４０
FP
摄像头直插在
GA
芯片
.
系统硬件结构如图
８
所示
,
O
图
端口连接一个
１２８０×
F
７
P
６
G
０
A
开发板上
,
分辨率的显示器
HDM
.
I
_
Fi
g
．９ D
ce
i
s
s
s
p
i
l
n
a
９
矫正处理显示效果图
g
y
effectdia
g
ramaftercorrection
p
roＧ
资源的
９．１７％
,
详细资源占用情况如表
１
所示
.
表
１ FPGA
资源使用情况
Tab．１ FPGAresourceusa
g
e
资源名称使用总数百分比
/
LUT１
自适应实时视频图像梯形矫正系统
LUTRAM１５
６２
０
６
０
８６２
图
BR
F
AM
F１２８
１
３４
９０
０
０
０
０７
５
．８
．６
９
６
％
Fi
g
．８
８
A
da
p
tiverealＧtimevideoima
g
etra
p
ezoidal
２７
２６１２
１
６８１０
corrections
y
stem
开发板通电后
,
摄像头倾斜一定角度拍摄目
２２２
３５
００
２０
．１２
９．１７
标物体
,
实验场景如图
９
所示
.
显示器左端画面
I
D
/
S
F
O
P
为摄像头采集的原始图像
,
显示器右端画面为矫
G
１
７
２０２
４
４
２
３
８
０
５
２
２．１１
正后图像
,
此外
,
画面左上角显示梯形畸变左
、
右
MM
BU
１
６
２
６
３
１
两腰与画面中轴线的夹角
,
偏右为正值
,
偏左为负
PL
C
L
M
１
３
．８
６
．３
８
．６
３
７
值
,
以表示梯形畸变幅度
.
并且当移动摄像头时
,
系统依然能实时显示矫正后的画面
.
为进一步突出本文所提出系统的实时性
,
将
实验结果表明
,
基于
本系统与两步投影法和软件连接点法所耗时间进
应梯形矫正系统可以实现对
FPG
Hz
刷新率的视频数据实时
６
自
４
A
的视频实时自适
０
适
×
应
４８
矫
０
分辨率
、
正
,
满足
６
日
０
行比较
,
比较结果如表
２
所示
.
其中畸变检测时
间为系统检测到畸变幅度所消耗的时间
,
矫正时
常使用需求
.
整个系统消耗的
LUT
资源占
间指系统矫正完一帧图像所需要的时间
.
从表
FPGA
芯片总资源的
中可以看出
,
两步投影法和软件连接点法耗费
２
AM
占用总资源的
２５．６６％
,
２
F
０
F
占用总资源的
１０．１２％
,
BR％
,
DSP
占用总
时间至少是本文方法的
２１
倍和
３００
倍
,
在摄像头
表
２
时间分析
Tab．２ Timeanal
y
sis
矫正方法图像分辨率
/
p
ixel
畸变检测时间
T
a
/
矫正时间
T
b
/
两步投影法
[
１０
]
１０
６４
２
０×４８０
软件连接点法
[
１４
]
０．７１５
s
＋
T
－
s
b
≈１０
本文方法
６４０
４
×
×
４
７
８
６
０
８
１
/
６０
T
a
１
/
６０
.. All Rights Reserved.
１０４
液晶与显示
第
３７
卷
位置不断改变的情景中
,
不具备实时性
;
而本文方的应用能力
.
通过乒乓缓存结构
,
使得在占用极
法的畸变检测时间和矫正时间均为小片上存储资源的情况下可以连续不断地对数据
帧矫正策略即可实现对
６０Hz
视频的实时矫正
１
/
６０s
,
结合错
.
流进行处理
.
基于梯形畸变图像与矫正图像之间
５
特殊的映射关系
,
简化了参数计算过程
.
利用场
结
论
消隐时间完成矫正参数计算
,
可以有效提高畸变
矫正的实时性
.
实验结果表明
:
系统可以支持对
本文根据实践的需求
,
针对图像获取过程中分辨率为
产生梯形畸变的问题
,
提出了一种自适应实时视
６４０×４８０
、
刷新率为
６０Hz
的监控视频
进行自适应矫正
,
且矫正画面和监控画面之间的
频图像梯形矫正系统的硬件结构设计
.
利用错帧延时仅为
矫正的方法实现了视频的实时矫正
,
提高了系统统梯形矫正的要求
１
/
６０s
,
矫正精度为
.
１
°
,
基本满足监控系
参
[]
考
文
献
:
１
张铮
,
徐超
,
任淑霞
,
等
社
,
２０１４．
．
数字图像处理与机器视觉
———
VisualC＋＋
与
Matlab
实现
[
M
]
．２
版
．
北京
:
人民邮电出版
z
Z
a
HA
tiono
NGZ
f
M
,
a
X
tl
UC
ab
,
RENSX
,
etal
．
Di
g
italIma
g
eProcessin
g
andMachineVision
———
VisualC
＋＋
andRealiＧ
[
２
]
王正家
,
钱峰
,
柯楠
[
,
M
等
]
WANGZJ
,
QIANF
,
．
．
两步式鱼眼图像畸变校正方法研究
２nded．Bei
j
in
g
:
Posts&Telecom
[
P
KEN
,
etal
．ResearchontwoＧste
p
d
J
r
is
]
e
to
．
s
现代电子技术
s
,
２０１４．
(
inC
,
rtioncorrectionm
２
hi
０
n
２
e
e
０
se
th
,
４
)
o
３
d
(
f
１
o
８
r
)
fi
:
１
s
４
h
６
e
Ｇ
y
１
e
４
i
９
m
．
a
g
e
[
J
]
．
ModＧ
[
ernElectronicsTechniu
３
]
q
e
陈忠辉
,
唐晓颖
,
林志权
,
,
等
２０
．
畸
２０
变
,
４
图
３
(
像
１８
自
):
适
１４
应
６Ｇ
校
１４９
正
．
及
(
inC
质量
hin
增
es
强
e
)
算法研究与实现
[
１８０Ｇ１８４．
J
]
．
计算机应用
,
２０２０
,
４０
(
S１
):
CHENZH
,
TANGXY
,
LINZQ
,
etal
．Researchandimlementat
[
４
]
q
彭金柱
ualit
y
e
,
n
孙贝贝
hancem
．
基于低秩特性的鱼眼图像畸变矫正方法
ental
g
orithm
[
J
]
p
ionofada
p
tivedistortionima
g
ecorrectionand
．
Journalo
f
Com
p
uterA
[
J
]
．
p
现代电子技术
p
lications
,
２０
,
２
２
０
０
２
,
０
４
,
４
０
３
(
S
(
１
１
０
)
)
:
:
１
１
８
４
０
８
Ｇ
Ｇ
１
１
８
５
４
２
．
．
(
inChinese
)
[
l
P
ec
E
tr
N
o
GJZ
nicsT
,
ec
S
h
U
ni
NBB
５
]
q
ue
李华军
,
刘光宇
,
余善恩
,
２
．
０
Fi
．
２
s
微小管道两相流流动图像畸变校正研究
０
h
,
e
y
４
e
３
i
(
１
m
０
a
g
)
e
:
１
d
４
is
８
t
Ｇ
o
１
r
５
ti
２
o
．
n
(
i
c
nC
orre
h
c
i
t
n
i
e
o
s
nm
e
)
ethodbasedonlowＧrankcharacteristic
[
J
]
．
ModernEＧ
[
LIHJ
,
LIUGY
,
YUSE．Flowima
g
edistortioncorrectionfor
J
tw
]
．
仪器仪表学报
,
oＧ
p
haseflowinm
２０
i
２
c
０
ro
,
４
/
１
m
(
i
４
ni
):
p
２
i
３
p
９
e
Ｇ
s
２４
[
J
５
]
．
．
Chinese
[
JournalocientiicInstrument
６
]
f
S
f
吴开兴
,
段马丽
,
张惠民
,
等
WUKX
,
DUANML
,
ZHA
．
广角图像畸变校正算法的研究与实现
,
２０２０
,
４１
(
４
):
２３９Ｇ２４５．
(
inChin
[
NGHM
,
etal
．Researchandimle
J
es
m
]
e
e
．
计算机应用与软件
)
,
p
ntationofcorrection
２
a
０
l
１
g
４
or
,
i
３
t
１
hmf
(
１１
o
)
rw
:
２３
i
７
d
Ｇ
e
２
Ｇ
４
a
０
n
g
．
le
[
７
]
i
张浩
ma
g
e
,
凌朝东
distortio
,
陈虎
n
[
J
]
,
．
等
Com
p
uterA
pp
licationsandSo
f
tware
,
２０１４
,
３１
(
１１
ZHANGH
,
LINGCD
．
一种基于
,
CHEN
F
H
P
,
G
e
A
的视频几何校正系统设计方案
[
tal
．Desi
g
nofvideo
g
eometricca
J
li
]
)
br
．
液晶与显示
:
２３７Ｇ２４０．
(
i
,
ations
y
stemb
２
nC
０
a
１
s
５
hi
e
,
n
do
３
e
０
s
nF
(
e
３
)
)
P
:
４
G
５９
A
Ｇ４
[
６
J
６
]
．
．
ChiＧ
[
８
]
neseJournalo
f
Li
q
uidCr
y
stalsandDis
p
la
y
s
罗杰超
,
郭俊达
,
米凤文
,
等
７
．
基于变形目镜和
,
O
２０
L
１
E
５
D
,
３
的
０
(
全
３
)
景
:
４
周
５９
视
Ｇ４
成
６６
像
．
(
i
与
nC
显
h
示
ine
技
se
术
)
[
J
]
．
中国光学
,
２０２０
,:
L
５
U
２Ｇ
１３
(
４
)
OJC
７５９．
,
GUOJD
,
MIFW
,
etal
．Panoramic
p
eri
p
heralvisionima
g
in
g
anddis
p
la
y
technolo
gy
basedonadeＧ
[
９
]
f
杨帆
orma
,
t
刘连圣
ione
y
e
,
p
翟祚盼
ieceandO
,
等
．
L
发散扫描模式下
ED
[
J
]
．
ChineseO
OC
p
T
tic
图像畸变分析与矫正
s
,
２０２０
,
１３
(
４
):
７５２
[
Ｇ
J
７
]
５
．
９
光学
．
(
inC
精密工程
hinese
)
,
YANGF
,
LIULS
,
ZHAIZP
,
etal
．Distortionanal
y
sisandreconstructionofOCTim
２０
a
２
g
１
e
,
i
２
ns
９
(
e
８
c
)
to
:
１
r
９
s
６
c
８
a
Ｇ
n
１９
m
７５
od
．
[
e
[
１０
]
J
向芝慧
]
．
O
p
tic
基于
sandPrecisionEn
g
ineerin
g
,
２０２１
,
２９
(
８
):
１９６８Ｇ１９７５．
(
inChinese
)
C
X
h
I
e
A
n
N
g
d
GZH．
．H
成都
:
西南交通大学
,
u
:
Sout
R
a
h
e
r
w
s
r
e
is
算法的梯形畸变校正快速视频拼接技术研究
[
e
a
s
r
t
c
J
ho
iao
n
to
f
n
a
g
st
U
vi
n
d
i
e
v
o
er
s
si
p
t
li
y
ci
,
n
２
g
０１
w
８
it
．
h
(
i
t
nC
ra
p
h
e
i
z
n
oi
e
d
s
a
e
l
)
distor
D
ti
]
o
．
ncorrectionbasedonH
２０１
a
８
rr
．
isal
g
orithm
[
D
]
．
[
１１
]
张宇
．
数字图像梯形畸变校正算法研究与视频实时校正应用
[
D
]
．
合肥
:
安徽大学
,
２０１４．
.. All Rights Reserved.
第
１
期
索军红
,
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
１０５
[
１２
]
t
Z
陈虎
io
HA
n
[
N
,
D
G
凌朝东
]
．
Y．
Hef
T
,
e
h
张浩
i
e
:
r
A
e
,
n
se
等
h
a
u
r
iU
cho
．
基于
ni
nd
v
F
e
P
r
i
s
g
G
i
i
t
t
A
y
al
,
i
的实时彩色图像边缘检测算法的实现
２
m
０１
a
４
g
ek
．
(
i
e
nC
y
st
h
o
i
n
n
e
es
c
e
or
)
rectional
g
orithmanda
pp
licationofvideorealＧtimecorrecＧ
[
ZHANGH
,
LINGCD
,
ZHANGH
,
etal
．RealＧtimeFPGAＧbasedim
p
le
J
m
]
e
．
液晶与显示
,
ntationofcol
２
o
０
r
１
i
５
m
,
a
３
g
０
e
(
１
ed
)
g
:
１
e
４
d
３
e
Ｇ
t
１
e
５
c
０
ti
．
on
[
１３
]
a
商尔科
l
g
orith
,
m
李健
[
J
]
,
．
安向京
ChineseJ
,
等
o
SHANGEK
,
LIJ
,
AN
．
u
基于
rnal
XJ
,
F
o
eta
P
f
G
L
l
A
i
q
的实时
uidCr
y
．RealＧtim
H
st
e
o
a
u
ls
H
g
o
h
an
变换
dDi
[
s
u
g
htra
J
p
n
]
l
s
．
a
计算机工程
y
s
,
２０１５
,
,
３
formbasedo
２
０
nF
０１
(
１
０
)
P
,
G
３
:
６
１４
A
(
１
３
[
６
Ｇ１
J
)
５
]
:
０
．
１
C
６
．
o
１
(
Ｇ
i
m
１
nC
p
６
u
３
h
t
．
inese
)
２０１０
,
３６
(
１６
):
１６１Ｇ１６３．
(
inChinese
)
erEn
g
ineerin
g
,
[
１４
]
杨春勇
,
徐杰
,
杨继成
,
等
８５８Ｇ８６２．
．
基于时间编码结构光的投影自动校正方法
[
J
]
．
黑龙江大学自然科学学报
,
２０１１
,
２８
(
６
):
tomaticcorrectionmethodfor
p
ro
j
ectionbasedontimeencodin
g
n
s
Y
t
e
r
A
s
u
e
c
N
)
t
GCY
uredli
g
,
h
X
t
UJ
[
J
]
,
．
J
Y
ou
A
r
N
na
GJC
lo
f
N
,
e
a
ta
tur
l
．Anau
alScienceo
f
Heilon
gj
ian
g
Universit
y
,
２０１１
,
２８
(
６
):
８５８Ｇ８６２．
(
inChiＧ
作者简介
:
张冠茂
(
索军红
(
１９９６－
),
男
,
河南焦作人
,
硕士
士
,
副教授
１９７
,
３－
２００７
),
年于兰州大学获得博
男
,
甘肃正宁人
,
博
研究生
,
士学位
,
２
主
０１
要
８
年于黑龙江大学获得学
士学位
,
主要从事表面等离激元学及其
从事
处理方面的研究
.
FPGA
应用和图像
应用
、
微纳光器件设计与应用
、
无线通
信与天线技术
、
信息处理与通信
、
智能
lzu．edu．cn
EＧmail
:
suo
j
h１９＠
光电传感技术与应用等方面的研究
.
EＧmail
:
zhan
gg
m＠lzu．edu．cn
.. All Rights Reserved.
2024年5月9日发(作者：富幻翠)
第
２０２
３
２
７
卷
年
１
第
月
１
期
ChineseJo
液晶与显示
urnalofLi
q
uidCr
y
stalsandDis
p
la
y
s
V
ol．３
J
７
an
N
．２０
o
２
．１
２
文章编号
:
１００７Ｇ２７８０
(
２０２２
)
０１Ｇ００９７Ｇ０９
基于
FPGA
的自适应实时视频梯形
矫正系统设计与实现
索军红
,
张冠茂
∗
,
乔
(
兰州大学信息科学与工程学院光电子与电磁信息研究所
鑫
,
赵汉卿
,
甘肃兰州
７３００００
)
摘要
:
针对监控系统中由于摄像机与监控画面不垂直导致显示画面梯形畸变的问题
,
提出一种自适应实时视频梯形矫正
系统的硬件结构设计方案
.
首先
,
对每帧画面依次进行灰度变换
、
边缘检测
、
形态学开运算等一系列预处理
;
接着
,
基于
Houh
变换提取画面中梯形畸变的轮廓
;
然后
,
根据梯形畸变轮廓确定四对映射点坐标
,
并运用连接点法计算矫正参
数
;
最后
g
,
运用灰度插值法得到矫正图像
.
整个过程利用流水线和乒乓缓存结构对算法进行了优化
,
利用视频时序中的
场消隐时间进行计算
,
在大幅减少硬件资源消耗的同时提高了算法效率
,
并在
:
在视频分辨率为
ALINXAX７１０３FPGA
硬件开发平台上
加以实现
.
实验结果表明
±
矫正精度为
关
３
中图分类号
０
°
以内的监控画面
,
键
词
:
梯形矫正
;
监控系统
;
:
TN９１１．７３
文献标识码
H
１
°
ou
,
g
基本满足监控系统的自适应性
６４０×４８０
、
刷新率为
６０Hz
的情况下
,
系统能够很好地矫正梯形畸变范围在
h
变换
;
、
实时性等要求
.
:
A
F
d
P
oi
G
:
１
A
芯片
０．３７１８８
/
CJLCD．２０２１Ｇ０１７０
Ada
p
tivereal
a
Ｇ
n
ti
d
m
i
e
m
vi
p
l
d
e
e
m
o
e
t
n
r
t
a
a
p
ti
e
o
z
nb
oida
a
l
se
c
d
or
o
r
nF
ecti
P
o
G
n
A
s
y
stemdesi
g
n
SUOJunＧhon
g
,
ZHANGGuanＧmao
∗
,
QIAOXin
,
ZHAOHanＧ
q
in
g
(
Instituteo
f
O
p
toelectronicsandElectroma
g
neticIn
f
ormation
Schoolo
f
In
f
ormationScienceandEn
g
ineerin
g
,
LanzhouUniversit
y
,
Lanzhou
,
７３００００
,
China
)
Abstract
t
:
Aimintthe
p
roblemoftraezoidaldistortionofthedislaed
p
icturedue
t
hecamer
g
aisno
g
t
p
a
er
p
p
endiculartothem
p
onito
y
rin
g
ne
p
i
c
ct
o
u
rr
r
e
e
c
i
t
n
io
t
ns
hem
y
st
o
e
n
p
mi
ito
y
r
s
in
p
g
ro
s
p
y
o
s
s
t
e
e
d
m
．
,
Fi
a
rs
h
t
t
a
o
l
r
t
y
d
h
w
e
a
a
f
r
a
s
e
c
er
s
t
i
t
t
e
r
h
so
u
a
c
t
Ｇ
p
u
re
re
r
d
o
e
c
s
e
i
ss
no
in
fa
u
na
ch
d
a
a
s
t
g
i
r
v
a
ere
c
a
a
l
l
Ｇ
e
ti
t
m
ra
e
n
v
s
i
f
d
o
e
r
ok
mat
e
io
s
n
to
,
ededetection
,
andmorholoicaloenin
,
f
are
p
carriedo
g
ut
s
inse
q
uenc
y
e
s
foreachframe．Then
,
b
g
asedontheHou
g
htr
p
ansfo
g
rm
,
th
p
eout
g
li
o
n
p
eo
era
f
ti
t
o
h
n
e
收稿日期
:
基金项目
:
２
国家重点研发计划
０２１Ｇ０６Ｇ２５
;
修订日期
(
No
:
２
．２
０
０
２
１
１Ｇ
９
１
Y
０Ｇ
F
０
A
１
０
．
新创业计划项目
(
No．cxc
y
２０２００２
)
４０５４０３
);
中央高校基本科研基金
(
No．lzu
j
bk
y
Ｇ２０１９Ｇct０６
);
兰州大学创
S
m
u
e
p
n
p
t
o
a
r
l
te
R
db
ese
y
ar
N
c
a
h
tio
F
nK
u
e
y
Resea
h
rc
e
ha
Ce
n
n
dD
tral
eve
U
lo
n
p
iv
m
e
e
rs
n
i
tP
ties
ro
g
(
r
N
a
o
m
．l
o
z
fC
u
j
b
h
k
i
y
n
Ｇ
a
２０
(
１
N
９
o
Ｇc
．２
t
０
０
１
６
９
)
YFA
a
０
n
４
z
０
h
５
o
４
u
０３
)
U
;
ni
F
v
u
er
n
s
d
i
a
t
Ｇ
InnovationandEntre
p
n
r
d
e
s
ne
f
u
o
r
r
shi
t
p
Pro
j
ect
(
No．cxc
y
２０２００２
)
．
;
L
y
∗
通信联系人
,
EＧmail
:
zhan
gg
m＠lzu．edu．cn
.. All Rights Reserved.
９８
液晶与显示
第
３７
卷
t
d
r
c
c
a
e
a
l
t
p
c
e
ezoiddistortioninthe
p
ictureisextracted．Afterthat
,
four
p
airsofma
pp
in
gp
ointcoordinatesare
u
r
l
m
at
i
e
ne
t
da
he
c
c
c
o
o
r
r
r
d
e
i
c
n
ti
g
tothetra
p
ezoidaldisto
,
rtioncontourandtheconnection
p
ointmethodisusedto
r
t
i
o
h
t
r
eh
h
re
m
ct
a
,
e
rd
a
d
n
i
w
du
ma
are
s
g
r
e
e
e
s
．
s
t
T
o
h
h
u
ev
ew
on
rcec
er
h
p
a
t
o
i
o
n
c
l
r
a
e
am
s
l
p
u
b
r
e
m
l
o
te
p
a
c
r
t
n
e
s
i
k
s
o
i
s
．F
na
n
u
i
g
s
n
e
a
n
t
d
i
s
ll
m
p
y
i
e
i
p
m
i
e
t
p
nt
l
h
in
e
g
ra
y
Ｇscaleinter
p
olationmethodisusedtoobtainthe
rov
h
e
e
ev
an
st
i
d
h
d
ea
e
p
os
in
g
l
g
e
Ｇ
p
o
q
ri
u
o
t
e
n
h
n
g
me
ce
bu
t
f
f
oc
fer
fici
a
e
l
structur
n
c
c
u
y
la
．
t
I
e
t
,
e
is
w
too
p
timizetheal
g
oＧ
i
hi
m
c
p
h
le
g
m
re
e
a
n
t
t
l
e
y
do
red
nt
uc
h
es
e
v
A
i
u
d
L
r
e
I
ew
o
N
r
X
i
e
t
s
A
h
ol
X
t
u
７
h
t
e
i
１
o
０
t
n
３F
ra
i
p
s
P
e
６
G
z
４
oi
０
Ah
d
×
al
４
a
d
８
r
i
０a
dwa
sto
n
r
r
d
e
tio
t
d
h
e
nr
e
v
r
el
a
e
n
f
o
g
r
p
ew
e
m
sh
en
i
r
t
t
a
h
t
p
i
e
la
n
i
t
s
fo
±３
６
r
０H
m．
０
°
,
z
T
a
,
h
n
t
e
dt
h
e
e
x
h
s
p
ec
y
e
s
r
t
i
o
e
m
r
mc
ent
rect
a
a
i
n
lr
ona
c
e
o
s
r
u
c
r
l
c
e
t
u
c
s
t
s
ra
t
h
c
h
o
y
em
wt
is１
o
h
°
n
a
i
tw
．
to
B
r
a
i
h
s
n
e
ic
gp
nt
all
i
h
y
c
e
Ｇ
t
t
hesstemcanmeettheselfＧadatabilitndrealＧtimereuire
,
Ke
y
w
y
ords
:
tra
p
ezoidalcorrection
p
;
moni
y
to
a
rin
g
s
y
stem
;
H
q
ou
g
h
m
tr
e
a
n
n
ts
sf
o
o
f
rm
th
;
em
FP
o
G
ni
Ac
tor
h
i
i
n
p
g
s
y
stem．
１
引
言
２
梯形矫正系统的构成及其工作
原理
图像作为承载信息的主要载体
,
其准确性
至关重要
,
但在获取图像的过程中往往会受到
２．１
梯形矫正系统的硬件构成
各种因素的干扰
,
使最终成像发生畸变
,
从而影梯形矫正系统结构框图如图
响人们对实际情况的分析与判断
.
图像畸变可由
１
所示
,
其主要
分为非线性畸变和线性畸变
.
非线性畸变主要
是由于相机的制作工艺
(
块
Do
O
、
u
V
按键模块
bl
５
eD
６４０
摄像头模块
、
ataR
、
以及其他必要模块
ate３
)
存储模
FP
不完善造成的
,
致使实
块
GA
模块
、
、
(
电源模块
液晶显示
DD
、
器
R
时钟
模
３
际成像模型与理想针孔成像模型不一致
.
非线模块
、
配置电路
)
组成
.
性畸变中真实画面与最终成像之间的映射关系模块
、
灰度插值模块
、
图像预处理模块
FPGA
模块又由图像采集
、
直线检测
虽然复杂
,
但对于特定相机而言
,
映射关系是固模块
、
参数计算模块
、
定的
,
无需在拍摄过程中实时计算
,
已有许多文模块组成
.
DDR
读写模块和
DDR
控制
献对其进行了较为充分的研究
.
线性畸变与相进行矫正时
,
由
机的拍摄角度和运动状态有关
.
梯形畸变作为
O
行
V
矫
５６
正
４０
摄像头采集图像
,
线性畸变的一种
,
其成因是在实际的拍摄场景
FPGA
模块对图像进
,
存数据
,
最终由显示器显示矫正后的图像
DDR３
模块负责缓
.
中
,
受限于拍摄距离和角度
,
摄像机往往不能垂
２．２
梯形矫正系统的工作原理
直于被拍摄平面
,
造成最终成像结果产生梯形该系统的基本工作原理为
:
图像采集模块通过
畸变
[
１Ｇ９
]
法满足实
.
时
梯形畸
矫正的
变
需
矫
求
正
,
通
如
常
向
使
芝
用
慧
软
小
件
组
实
结
现
合
,
无
两
IIC
总线协议配置
O
使其按照
步投影法和
G
V
B
５
５
６
６
４
５
０
摄像头
,
４８０
的分辨率和
R
的格式将数据传
６４
递
０×
给
但矫正时间以
Harris
角点检测算法利用软件矫正
梯形畸变
,
数百毫秒计
[
１０
]
F
块和
PGA
芯片
,
最后经由图像采集模块
、
组基于
OenCV
采用连接点法矫正梯形
;
张
畸
宇
变
小
,
DDR
控制模块将数据存入
DDR
读写模
理模块读取
但只有在摄像机
p
和被拍摄平面相对位置不变的
DDR
D
３
DR
中
３
中
.
图像预处缓存的原始
图像后对其进行灰度转换
、
情况下才能进行实时矫正
[
１１
]
１
Sobel
边缘检测
、
形态
编程门阵列
(
.
本文基于现场可
学开运算等处理
[
２
]
降低后续处理运算量的目的
,
以达到滤除图像干扰
,
便于直线检测模块
信息
、
F
FieldPro
g
rammableGateArra
y
,
进行直线检测
.
X
P
IL
G
I
A
N
)
X
提出了一种梯形矫正的新思路
artixＧ７XC７A１００TＧ２FGG４８４I
,
采用配有
芯片的直线检测模块可以提取出预处理后图像中梯
AX７１０３
开发板为实验平台
,
可以实时且自适应形畸变的两条斜边
,
并将斜边参数
、
倾斜角度分别
地矫正梯形畸变
.
传递给参数计算模块和视频输出模块
.
.. All Rights Reserved.
第
１
期
索军红
,
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
９９
图
Fi
g
．１ Structure
１
di
梯形矫正系统结构框图
a
g
ramoftra
p
ezoidalcorrections
y
stem
参数计算模块利用斜边参数计算出修复梯形
畸变所需的映射参数
,
之后将其传递给灰度插值
DDR
读写模块缓存
.
通过按键可以控制选择何
种灰度插值算法
.
模块
.
视频输出模块生成视频时序信号
,
在图像显
视频流时序中相邻场同步信号间除了显示示的不同区域分别读取原始图像
、
矫正图像数据
区间之外还有一段非显示区间
,
如图和梯形畸变的斜边角度信息以及相关文字说明
,
示区间之后的非显示
２
所示
.
本设计可以利用显区间时以实现视频图像
、
矫正图像和畸变程度的同屏
间段运行直线检测模块和参数计算模块
,
再结显示
.
合错帧矫正的方法
,
即用上一帧得到的映射参
数矫正下一帧的画面
,
进而实现视频实时矫正
DDR
读写模块用于在
并负责突发读
DD
/
R
和不同模块之间
进行数据缓存
,
写请求信号和普通
的目的
.
读
/
写请求信号的转换
,
以充分利用
灰度插值模块根据矫正图像像素坐标和映射
DDR
读写操
作的高带宽
.
参数计算出对应原始图像中的像素坐标
,
取出相
应坐标的灰度值并进行计算后作为矫正图像像素
DDR
控制器模块按照固定顺序仲裁多路
的灰度值
,
由此得到矫正图像
,
并将其传输给
DDR
突发读
/
写请求
,
依据仲裁结果读
/
写
中的数据
.
DDR３
图
Fi
g
．２ Fields
y
n
２
c
场同步信号时序图
hronizationsi
g
naltimin
g
dia
g
ram
.. All Rights Reserved.
１００
液晶与显示
第
３７
卷
３
根据像素灰度值判断当前像素点是否为边缘
梯形畸变矫正系统关键模块的
点
,
进而决定是否激活写请求信号
.
FPGA
实现
FIFO
缓冲
器负责缓存边缘点坐标
.
若
据控制模块发出单个时钟周
F
期
IF
则数
读
O
不为空
,
请求
,
并在
３．１
直线检测模块
个时钟周期内不再发出
,
以保证每个边缘点
３
坐
０
直线检测模块是系统中最核心的部分
,
用标保持
于寻找画面中梯形畸变的两个腰
.
本文采用的读地址
３
也
０
个时钟周期的输出
,
供后续计算使用
,
将在这
直线检测算法为
３０
个时钟周期内循环加一
.
简单
、
易于硬件
H
[
３
]
实
ou
现
g
h
变换法
１
的方法
.
式为
:
Ho
,
u
是
g
h
一
变
种
换
计算
公
s
１
°
in
的正
θ
_
cos
、
θ
余弦函数值
_
ROM
中存储着范围内步长为
,
并依据读地址输出相应正
６０°~８９°
、
余弦函数值以供后续计算
.
ρ
值计算模块
ρ
值计算模块
１
按照
公式
(
公式
(
＝
x
cos
θ
＋
y
sin
θ
,(
１
)
会将公式
１
)
计算出
ρ
值
,
ρ
(
θ
)
坐标系中的一个点
１
)
可将
(
x
,
y
)
坐
,
将
标系中
,
y
的直线转换为
点
(
ρ
(
x
)
坐标系中的转
,
角函数的对称性在不增加存储空间的情况下将角
１
中的加法更改为减法
,
２
运算过程中
)
如此可利用三
换为
(
ρ
θ
度检测范围扩展至
变换可
,
将
)
检
坐
测
标系
直
中
线
的
的
一
问
条
题
曲
转
线
化
.
为
利
检
用
测
Ho
点
u
g
的
h
为
－８９°~－６０°
.
在一副分辨率
问题
.
６０°
６
~
４０
８９
×
°
４
、
８
－
０
的画面中
,
直线倾斜角度范围分别为
直线检测模块构成及其工作流程原理如图
８９°~－６０°
时
,
ρ
的取值范围分别为
３
所示
.
边缘图像信息由图像预处理模块输出
,
０
别计算投票地址
~８００
、
－６４０~２
.
４０
.
故可根据式
(
２
)
和式
(
３
)
分
边缘点坐标检测模块一方面基于边缘图像信息
中的视频流时序信号生成像素坐标
,
另一方面
add
a
r
d
２
d
＝
r
a
１
d
＝
d
a
r
ddr
θ
×８００＋
８８０＋６４０
ρ
＋
,(
θ
×
ρ
,(
２
３
)
)
图
Fi
g
．３ Structu
３
re
直线检测模块结构框图
dia
g
ramoflineardetectionmodule
.. All Rights Reserved.
第
１
期
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
索军红
,
１０１
其中
,
addr
１
为合并
１
模块的输出地址
,
addr
２
为
合并
２
模块的输出地址
.
独立时钟双口
相反
,
频率相同
,
以
R
实
AMI
现在
P
核的读
、
写时钟相位
单时钟周期内完成投
票
.
投票记录模块时刻记录最大得票数和次大
得票数以及它们所对应的
(
ρ
最大得票数和次大得票数对
,
θ
应
)
的
值
是
.
为
同
了
一
避
条
免
直
线
,
只有在当前得票数大于最大或次大得票数
,
且当前得票数对应的
ρ
值与最大或次大得票数
对应的
ρ
值相差超过
.
１０
个单位时
,
才会更新相
应记录
比较判断模块接收到
４
条直线的得票数
,
将
得票数最多的两条直线信息发送出去
.
３．２
参数计算模块
梯形畸变图像与矫正图像的空间变换关系如
图
４
所示
.
本系统应用连接点法对像素进行重定
位
,
连接点法相较于两步投影法
,
具有运算步骤
少
,
计算简单的特点
,
易于硬件实现
.
图
Fi
g
．４ S
p
atial
４
t
空间变换关系
ransformationrelationshi
p
利用双线性方程对该空间变换过程建模
,
即
:
{
x′
＝
k
y
′
＝
k
１
x
＋
k
２
５
y
＋
k
３
x
y
＋
k
４
,(
４
)
其中
:(
x′
x
＋
k
６
y
k
７
xk
８
(
x
,
y
)
为矫正图像中的像素点坐标
,
y
′
)
为畸变图
＋
像中
y
的
＋
像
.
素点坐标
,
公式
(
将
４
对映射点坐
４
)
中共
标
有
k
１
代入
~
其
k
８
八个未知系数
,
需要
中才能将全部系数求
出
.
以视频画面的
１
/
４
高度和
,
其与直线检
３
/
测
４
高度作为梯
形畸变的上下底边模块得到的
两条直线
(
梯形的两个腰
)
相交于
标分别设为
(
１２０
,
y
４
点
,
交点坐
(
１
３６０
,
y
),
y
２
)
３６０
,
y
３
)
４
).
其中
,
y
１
,
y
,(
１２０
(,
２
,
y
３
,
y
,
４
的计算公式为
:
ì
ï
ρ
ï
y
１
＝
１
－１２０cos
θ
１
ï
ï
ï
y
２
＝
ρ
s
２
－１
i
２
n
０
θ
c
１
os
θ
２
í
ï
s
ï
y
３
＝
ρ
１
－
ï
ï
s
３
in
θ
２
i
６０cos
θ
１
,(
５
)
ï
î
y
４
＝
ρ
２
－３６
n
０
θ
c
１
os
θ
２
其中
(
ρ
１
,
θ
１
),(
ρ
２
的两条直线信息
.
,
θ
２
)
分
s
别
in
为
θ
２
直线检测模块输出
相应的
,
以梯形畸变中较长底边为基准构造
一个矩形
,
矩形的
顶点的
４
个顶点即为畸变图像中梯形
,(
(
２
３６
)
０
,(
映射点
.
,
y
３６０
,
y
１
),(
其坐标分别为
(
３６０
,
y
２
)
或
(
１２０
,
１
y
２
３
０
)
,
,
y
(
１
１２
)
０
,
y
１２
４
０
)
,
,
３
以梯形畸变的上边是较长底边为例
),(
３６０
,
y
４
).
,
将
映射点坐标代入公式
(
４
对
ì
４
ï
k
),
得
:
ï
ï
k
１
＝１
２
ï
＝
ï
k
y
k
３
＝
k
４
＝０
１
×
y
４
－
y
２
×
ï
５
＝
ï
２４０
(
y
１
－
y
２
y
)
３
í
ï
k
６
３
y
１
－３
y
２
－
y
３
＋
y
４
,()
ï
＝
２
(
６
ï
ï
k
７
y
y
１
－
y
２
)
ï
＝
y
２
２
－
４０
ï
ï
î
k
８
＝
y
２
×
y
(
１
y
＋
１
y
－
３
y
－
２
y
)
４
３
－
y
１
×
y
４
依据式
(
工作流程如图
５
)
和式
５
(
６
所示
)
设计的参数计算模块结构及其
２
(
y
１
－
y
２
)
.
坐标计算模块实现计算式
(
钟频率
５
)
所需的功能
,
故在该模块前后各添加一个异步
,
其运行最大时钟频率低于系统时
以解决信号的跨时钟域传输问题
.
参数求取模块
FIFO
,
完成式
(
了浮点数形式进行计算
６
)
的计算
,
为了节省计算资源
.
,
全程采用
．３
灰度插值模块
矫正图像和畸变图像的像素点坐标并非一
一对应
,
通过公式
(
一个小数
,
此时就需
４
)
根
得
据
到
邻
的
近
映
像
射
素
坐
的
标
灰
值往
度
往
值
是
对
该坐标点进行插值
,
常用的灰度插值算法有最
邻近法
、
双线性插值法和双三次插值法
.
最邻
近法选用距离映射坐标最近像素点的灰度值作
为映射坐标的灰度值
,
计算最为简便
,
但经过插
值后得到的图像灰度不连续
,
在图像边缘处会
出现较明显的锯齿状
.
双线性插值法基于映射
y
.. All Rights Reserved.
３
１０２
液晶与显示
第
３７
卷
坐标
４
个邻像素的灰度值
,
在两个方向上进行值作为
y
的灰度值
.
设
y
１
点处灰度值为
f
１
线性加权后得到映射坐标的灰度值
,
由此得到
,
y
２
点处灰度值为
f
２
的插值后图像灰度连续
,
但计算比较复杂
,
可能
f
的公式为
,
则运用双线性插值法计算
y
点
灰度值
:
会导致图像轮廓模糊
.
双三次插值法利用三次
f
＝
(
y
２
－
y
′
)
×
f
１
＋
多项式逼近理论上的最佳插值函数
,
映射坐标
(
y
′
－
y
１
)
×
f
２
,
的灰度值由其邻近的
１６
个像素点灰度值加权
(
７
)
内插求得
,
因此所得插值后图像效果最好
,
但计
算量也最大
.
图
Fi
g
．６ S
６
i
简化的坐标映射关系
m
p
lifiedcoordinatema
pp
in
g
灰度插值模块系统结构及其工作流程如图
７
图
Fi
g
．５ Struct
５
ur
参数计算模块系统结构
所示
,
输入数据流分配单元
、
双端口
RAM
和输出
edia
g
ramo
数据流选择单元共同构成乒乓缓存结构
,
双端口
m
f
o
p
d
a
u
r
l
a
e
metercalculation
R
行所对应的畸变图像像素值
AM
大小为
６４０×１６bit
,
以缓存矫正图像
.
坐标计算模块先通
当前
从计算复杂度
、
缓存资源消耗量的角度考虑
,
过视频时序信号生成矫正图像像素坐标
,
再结合
在硬件实现上放弃了双三次插值算法
,
为了满足
矫正参数计算映射坐标
,
最后由映射坐标得到其
不同需求
,
最邻近法和双线性插值法均被采用
,
在
邻近像素坐标和相应权值
,
并分别送给乒乓缓存
使用过程中通过按键进行选择
.
结构和插值模块
.
乒乓缓存结构将邻近像素坐标
通过公式
(
作为读地址并输出相应灰度值给到插值模块
.
插
正图像之间映射坐标对的横坐标
４
)
和公式
(
６
)
可知
(
,
行数
畸变图像和矫
)
一致
,
如
值模块接收灰度值和权值
,
并基于插值算法计算
图
出当前矫正图像像素的灰度值
,
插值算法的选择
邻近法时
６
所示
,
故可以简化相应灰度插值算法
.
采用最
,
取距离映射点
y
′
最近像素点
y
２
的灰度
由按键控制
.
图
Fi
g
．７ Structur
７
e
灰度插值模块系统结构
dia
g
ramof
g
ra
y
inter
p
olationmodule
.. All Rights Reserved.
第
１
期
索军红
,
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
１０３
４
实验结果及分析
为了验证本文所设计梯形矫正系统的可行性
及稳定性
,
使用
XILINX
公司的
Verilo
g
语言编写系统程序
,
采用
布局布线
Vivado
软件为程序编译平台
,
对
程序进行综合
、,
最终生成比特流文件并
烧录进
OV５６４０
FP
摄像头直插在
GA
芯片
.
系统硬件结构如图
８
所示
,
O
图
端口连接一个
１２８０×
F
７
P
６
G
０
A
开发板上
,
分辨率的显示器
HDM
.
I
_
Fi
g
．９ D
ce
i
s
s
s
p
i
l
n
a
９
矫正处理显示效果图
g
y
effectdia
g
ramaftercorrection
p
roＧ
资源的
９．１７％
,
详细资源占用情况如表
１
所示
.
表
１ FPGA
资源使用情况
Tab．１ FPGAresourceusa
g
e
资源名称使用总数百分比
/
LUT１
自适应实时视频图像梯形矫正系统
LUTRAM１５
６２
０
６
０
８６２
图
BR
F
AM
F１２８
１
３４
９０
０
０
０
０７
５
．８
．６
９
６
％
Fi
g
．８
８
A
da
p
tiverealＧtimevideoima
g
etra
p
ezoidal
２７
２６１２
１
６８１０
corrections
y
stem
开发板通电后
,
摄像头倾斜一定角度拍摄目
２２２
３５
００
２０
．１２
９．１７
标物体
,
实验场景如图
９
所示
.
显示器左端画面
I
D
/
S
F
O
P
为摄像头采集的原始图像
,
显示器右端画面为矫
G
１
７
２０２
４
４
２
３
８
０
５
２
２．１１
正后图像
,
此外
,
画面左上角显示梯形畸变左
、
右
MM
BU
１
６
２
６
３
１
两腰与画面中轴线的夹角
,
偏右为正值
,
偏左为负
PL
C
L
M
１
３
．８
６
．３
８
．６
３
７
值
,
以表示梯形畸变幅度
.
并且当移动摄像头时
,
系统依然能实时显示矫正后的画面
.
为进一步突出本文所提出系统的实时性
,
将
实验结果表明
,
基于
本系统与两步投影法和软件连接点法所耗时间进
应梯形矫正系统可以实现对
FPG
Hz
刷新率的视频数据实时
６
自
４
A
的视频实时自适
０
适
×
应
４８
矫
０
分辨率
、
正
,
满足
６
日
０
行比较
,
比较结果如表
２
所示
.
其中畸变检测时
间为系统检测到畸变幅度所消耗的时间
,
矫正时
常使用需求
.
整个系统消耗的
LUT
资源占
间指系统矫正完一帧图像所需要的时间
.
从表
FPGA
芯片总资源的
中可以看出
,
两步投影法和软件连接点法耗费
２
AM
占用总资源的
２５．６６％
,
２
F
０
F
占用总资源的
１０．１２％
,
BR％
,
DSP
占用总
时间至少是本文方法的
２１
倍和
３００
倍
,
在摄像头
表
２
时间分析
Tab．２ Timeanal
y
sis
矫正方法图像分辨率
/
p
ixel
畸变检测时间
T
a
/
矫正时间
T
b
/
两步投影法
[
１０
]
１０
６４
２
０×４８０
软件连接点法
[
１４
]
０．７１５
s
＋
T
－
s
b
≈１０
本文方法
６４０
４
×
×
４
７
８
６
０
８
１
/
６０
T
a
１
/
６０
.. All Rights Reserved.
１０４
液晶与显示
第
３７
卷
位置不断改变的情景中
,
不具备实时性
;
而本文方的应用能力
.
通过乒乓缓存结构
,
使得在占用极
法的畸变检测时间和矫正时间均为小片上存储资源的情况下可以连续不断地对数据
帧矫正策略即可实现对
６０Hz
视频的实时矫正
１
/
６０s
,
结合错
.
流进行处理
.
基于梯形畸变图像与矫正图像之间
５
特殊的映射关系
,
简化了参数计算过程
.
利用场
结
论
消隐时间完成矫正参数计算
,
可以有效提高畸变
矫正的实时性
.
实验结果表明
:
系统可以支持对
本文根据实践的需求
,
针对图像获取过程中分辨率为
产生梯形畸变的问题
,
提出了一种自适应实时视
６４０×４８０
、
刷新率为
６０Hz
的监控视频
进行自适应矫正
,
且矫正画面和监控画面之间的
频图像梯形矫正系统的硬件结构设计
.
利用错帧延时仅为
矫正的方法实现了视频的实时矫正
,
提高了系统统梯形矫正的要求
１
/
６０s
,
矫正精度为
.
１
°
,
基本满足监控系
参
[]
考
文
献
:
１
张铮
,
徐超
,
任淑霞
,
等
社
,
２０１４．
．
数字图像处理与机器视觉
———
VisualC＋＋
与
Matlab
实现
[
M
]
．２
版
．
北京
:
人民邮电出版
z
Z
a
HA
tiono
NGZ
f
M
,
a
X
tl
UC
ab
,
RENSX
,
etal
．
Di
g
italIma
g
eProcessin
g
andMachineVision
———
VisualC
＋＋
andRealiＧ
[
２
]
王正家
,
钱峰
,
柯楠
[
,
M
等
]
WANGZJ
,
QIANF
,
．
．
两步式鱼眼图像畸变校正方法研究
２nded．Bei
j
in
g
:
Posts&Telecom
[
P
KEN
,
etal
．ResearchontwoＧste
p
d
J
r
is
]
e
to
．
s
现代电子技术
s
,
２０１４．
(
inC
,
rtioncorrectionm
２
hi
０
n
２
e
e
０
se
th
,
４
)
o
３
d
(
f
１
o
８
r
)
fi
:
１
s
４
h
６
e
Ｇ
y
１
e
４
i
９
m
．
a
g
e
[
J
]
．
ModＧ
[
ernElectronicsTechniu
３
]
q
e
陈忠辉
,
唐晓颖
,
林志权
,
,
等
２０
．
畸
２０
变
,
４
图
３
(
像
１８
自
):
适
１４
应
６Ｇ
校
１４９
正
．
及
(
inC
质量
hin
增
es
强
e
)
算法研究与实现
[
１８０Ｇ１８４．
J
]
．
计算机应用
,
２０２０
,
４０
(
S１
):
CHENZH
,
TANGXY
,
LINZQ
,
etal
．Researchandimlementat
[
４
]
q
彭金柱
ualit
y
e
,
n
孙贝贝
hancem
．
基于低秩特性的鱼眼图像畸变矫正方法
ental
g
orithm
[
J
]
p
ionofada
p
tivedistortionima
g
ecorrectionand
．
Journalo
f
Com
p
uterA
[
J
]
．
p
现代电子技术
p
lications
,
２０
,
２
２
０
０
２
,
０
４
,
４
０
３
(
S
(
１
１
０
)
)
:
:
１
１
８
４
０
８
Ｇ
Ｇ
１
１
８
５
４
２
．
．
(
inChinese
)
[
l
P
ec
E
tr
N
o
GJZ
nicsT
,
ec
S
h
U
ni
NBB
５
]
q
ue
李华军
,
刘光宇
,
余善恩
,
２
．
０
Fi
．
２
s
微小管道两相流流动图像畸变校正研究
０
h
,
e
y
４
e
３
i
(
１
m
０
a
g
)
e
:
１
d
４
is
８
t
Ｇ
o
１
r
５
ti
２
o
．
n
(
i
c
nC
orre
h
c
i
t
n
i
e
o
s
nm
e
)
ethodbasedonlowＧrankcharacteristic
[
J
]
．
ModernEＧ
[
LIHJ
,
LIUGY
,
YUSE．Flowima
g
edistortioncorrectionfor
J
tw
]
．
仪器仪表学报
,
oＧ
p
haseflowinm
２０
i
２
c
０
ro
,
４
/
１
m
(
i
４
ni
):
p
２
i
３
p
９
e
Ｇ
s
２４
[
J
５
]
．
．
Chinese
[
JournalocientiicInstrument
６
]
f
S
f
吴开兴
,
段马丽
,
张惠民
,
等
WUKX
,
DUANML
,
ZHA
．
广角图像畸变校正算法的研究与实现
,
２０２０
,
４１
(
４
):
２３９Ｇ２４５．
(
inChin
[
NGHM
,
etal
．Researchandimle
J
es
m
]
e
e
．
计算机应用与软件
)
,
p
ntationofcorrection
２
a
０
l
１
g
４
or
,
i
３
t
１
hmf
(
１１
o
)
rw
:
２３
i
７
d
Ｇ
e
２
Ｇ
４
a
０
n
g
．
le
[
７
]
i
张浩
ma
g
e
,
凌朝东
distortio
,
陈虎
n
[
J
]
,
．
等
Com
p
uterA
pp
licationsandSo
f
tware
,
２０１４
,
３１
(
１１
ZHANGH
,
LINGCD
．
一种基于
,
CHEN
F
H
P
,
G
e
A
的视频几何校正系统设计方案
[
tal
．Desi
g
nofvideo
g
eometricca
J
li
]
)
br
．
液晶与显示
:
２３７Ｇ２４０．
(
i
,
ations
y
stemb
２
nC
０
a
１
s
５
hi
e
,
n
do
３
e
０
s
nF
(
e
３
)
)
P
:
４
G
５９
A
Ｇ４
[
６
J
６
]
．
．
ChiＧ
[
８
]
neseJournalo
f
Li
q
uidCr
y
stalsandDis
p
la
y
s
罗杰超
,
郭俊达
,
米凤文
,
等
７
．
基于变形目镜和
,
O
２０
L
１
E
５
D
,
３
的
０
(
全
３
)
景
:
４
周
５９
视
Ｇ４
成
６６
像
．
(
i
与
nC
显
h
示
ine
技
se
术
)
[
J
]
．
中国光学
,
２０２０
,:
L
５
U
２Ｇ
１３
(
４
)
OJC
７５９．
,
GUOJD
,
MIFW
,
etal
．Panoramic
p
eri
p
heralvisionima
g
in
g
anddis
p
la
y
technolo
gy
basedonadeＧ
[
９
]
f
杨帆
orma
,
t
刘连圣
ione
y
e
,
p
翟祚盼
ieceandO
,
等
．
L
发散扫描模式下
ED
[
J
]
．
ChineseO
OC
p
T
tic
图像畸变分析与矫正
s
,
２０２０
,
１３
(
４
):
７５２
[
Ｇ
J
７
]
５
．
９
光学
．
(
inC
精密工程
hinese
)
,
YANGF
,
LIULS
,
ZHAIZP
,
etal
．Distortionanal
y
sisandreconstructionofOCTim
２０
a
２
g
１
e
,
i
２
ns
９
(
e
８
c
)
to
:
１
r
９
s
６
c
８
a
Ｇ
n
１９
m
７５
od
．
[
e
[
１０
]
J
向芝慧
]
．
O
p
tic
基于
sandPrecisionEn
g
ineerin
g
,
２０２１
,
２９
(
８
):
１９６８Ｇ１９７５．
(
inChinese
)
C
X
h
I
e
A
n
N
g
d
GZH．
．H
成都
:
西南交通大学
,
u
:
Sout
R
a
h
e
r
w
s
r
e
is
算法的梯形畸变校正快速视频拼接技术研究
[
e
a
s
r
t
c
J
ho
iao
n
to
f
n
a
g
st
U
vi
n
d
i
e
v
o
er
s
si
p
t
li
y
ci
,
n
２
g
０１
w
８
it
．
h
(
i
t
nC
ra
p
h
e
i
z
n
oi
e
d
s
a
e
l
)
distor
D
ti
]
o
．
ncorrectionbasedonH
２０１
a
８
rr
．
isal
g
orithm
[
D
]
．
[
１１
]
张宇
．
数字图像梯形畸变校正算法研究与视频实时校正应用
[
D
]
．
合肥
:
安徽大学
,
２０１４．
.. All Rights Reserved.
第
１
期
索军红
,
等
:
基于
FPGA
的自适应实时视频梯形矫正系统设计与实现
１０５
[
１２
]
t
Z
陈虎
io
HA
n
[
N
,
D
G
凌朝东
]
．
Y．
Hef
T
,
e
h
张浩
i
e
:
r
A
e
,
n
se
等
h
a
u
r
iU
cho
．
基于
ni
nd
v
F
e
P
r
i
s
g
G
i
i
t
t
A
y
al
,
i
的实时彩色图像边缘检测算法的实现
２
m
０１
a
４
g
ek
．
(
i
e
nC
y
st
h
o
i
n
n
e
es
c
e
or
)
rectional
g
orithmanda
pp
licationofvideorealＧtimecorrecＧ
[
ZHANGH
,
LINGCD
,
ZHANGH
,
etal
．RealＧtimeFPGAＧbasedim
p
le
J
m
]
e
．
液晶与显示
,
ntationofcol
２
o
０
r
１
i
５
m
,
a
３
g
０
e
(
１
ed
)
g
:
１
e
４
d
３
e
Ｇ
t
１
e
５
c
０
ti
．
on
[
１３
]
a
商尔科
l
g
orith
,
m
李健
[
J
]
,
．
安向京
ChineseJ
,
等
o
SHANGEK
,
LIJ
,
AN
．
u
基于
rnal
XJ
,
F
o
eta
P
f
G
L
l
A
i
q
的实时
uidCr
y
．RealＧtim
H
st
e
o
a
u
ls
H
g
o
h
an
变换
dDi
[
s
u
g
htra
J
p
n
]
l
s
．
a
计算机工程
y
s
,
２０１５
,
,
３
formbasedo
２
０
nF
０１
(
１
０
)
P
,
G
３
:
６
１４
A
(
１
３
[
６
Ｇ１
J
)
５
]
:
０
．
１
C
６
．
o
１
(
Ｇ
i
m
１
nC
p
６
u
３
h
t
．
inese
)
２０１０
,
３６
(
１６
):
１６１Ｇ１６３．
(
inChinese
)
erEn
g
ineerin
g
,
[
１４
]
杨春勇
,
徐杰
,
杨继成
,
等
８５８Ｇ８６２．
．
基于时间编码结构光的投影自动校正方法
[
J
]
．
黑龙江大学自然科学学报
,
２０１１
,
２８
(
６
):
tomaticcorrectionmethodfor
p
ro
j
ectionbasedontimeencodin
g
n
s
Y
t
e
r
A
s
u
e
c
N
)
t
GCY
uredli
g
,
h
X
t
UJ
[
J
]
,
．
J
Y
ou
A
r
N
na
GJC
lo
f
N
,
e
a
ta
tur
l
．Anau
alScienceo
f
Heilon
gj
ian
g
Universit
y
,
２０１１
,
２８
(
６
):
８５８Ｇ８６２．
(
inChiＧ
作者简介
:
张冠茂
(
索军红
(
１９９６－
),
男
,
河南焦作人
,
硕士
士
,
副教授
１９７
,
３－
２００７
),
年于兰州大学获得博
男
,
甘肃正宁人
,
博
研究生
,
士学位
,
２
主
０１
要
８
年于黑龙江大学获得学
士学位
,
主要从事表面等离激元学及其
从事
处理方面的研究
.
FPGA
应用和图像
应用
、
微纳光器件设计与应用
、
无线通
信与天线技术
、
信息处理与通信
、
智能
lzu．edu．cn
EＧmail
:
suo
j
h１９＠
光电传感技术与应用等方面的研究
.
EＧmail
:
zhan
gg
m＠lzu．edu．cn
.. All Rights Reserved.