2024年4月23日发(作者:琦叶)
CN43—1258/TP
ISSN 1OO7 l3OX
计算机工程与科学
COMPUTER ENGINEERING&SCIENCE
2012年第34卷第4期
Vo1.34,No.4。2O12
文章编号:1007—130X(2012)04—0043—04
一
种动态场景下运动对象分割新算法
A Novel Approach for Moving Obj ect
Segmentation Used in Dynamic Scenes
马志强,张晓燕,朱子健,张锐
MA Zhi—qiang,ZHANG Xiao-yan,ZHU Zi-j ian,ZHANG Rui
(空军工程大学电讯工程学院网络工程系。陕西西安710077)
(Department of Network Engineering,School of Telecommunication Engineering,
Air Force Engineering University,Xi’an 710077。China)
摘要:视频运动对象分割是计算机视觉和视频处理的基本问题。在摄像机存在全局运动的动态场
景下,准确分割运动对象依然是难点和热点问题。本文提出一种基于全局运动补偿和核密度检测的动态
场景下视频运动对象分割算法。首先,提出匹配加权的全局运动估计补偿算法,消除动态场景下背景运动
对运动对象分割的影响;其次,采用非参数核密度估计方法分别估计各像素属于前景与背景的概率密度,
通过比较属于前景和属于背景的概率及形态学处理得到运动对象分割结果。实验结果证明,该方法实现
简单,有效地提高了动态场景下运动对象分割的准确性。
Abstract:Video moving obj ect segmentation is a basic problem of computer vision and video process—
ing.In the video sequences of a dynamic scene which has global(camera)motion,accurate moving ob
j ect segmentation is still a key and hot research topic.A novel video moving obj ect segmentation algo—
rithm based on global motion compensation and non—parametric kernel density estimation is proposed in
this paper.Firstly,an efficient and accurate global motion compensation method is used to remove the
motion of the background.Then the non—parametric kernel density estimation is applied to establish
f0reground/background probability models.Finally,the moving object can be obtained by comparing the
foregr0und/background probability and morphological post—processing.The experimental results dem—
onstrate that the proposed algorithm has good results and reduces the complexity of moving obj ect seg—
mentation in dynamic scenes.
关键词:动态场景;运动对象;运动补偿;核密度检测
Key words:dynamic scene;moving obj ect;motion compensation;kernel density estimation
doi:10.3969/j.issn.1007—130X.2012.04.009
中图分类号:TP391.4 文献标识码:A
关键环节,也是视频标准MPEG一4及MPEG一7的
引言
视频运动对象分割是视频处理到视频分析的
首要步骤和前提,在模式识别、计算机视觉等领域
有着广阔的应用前景。在实际应用中,为了扩大视
频流中的信息量,摄像机不可避免产生缩放、平移
收稿日期:20l1】1—05;修订日期:2012-02—10
基金项目:博士后科学基金特别资助项目(201104787);博士后科学基金资助项目(20100471838);陕西省自然基金资助项目
(201OJM8O14)
通讯地址:710077陕西省西安市空军工程大学电讯工程学院网络工程系张晓燕
Address:Departrrmnt of Network Engineering,School of Telecommunication Engineering,Air Force Engineering University,Xi’an.
Shaanxi 710077,P.R.China
44
和旋转等运动。由摄像机运动产生的全局运动使
得视频序列具有了动态场景。较之静态背景,动
态场景下的视频序列既包含图像的整体运动即全
局运动,又包含视频运动对象的个体运动即局部运
动,使得从动态场景中提取出运动对象变得非常复
杂,因此动态场景下视频运动对象的准确分割成为
了当前应用视觉领域的热点。
为了在动态场景下分割出视频运动对象,
Tsaig提出了一种首先使用透射模型和基于梯度
的技术进行帧间运动补偿,再进行分水岭分割,最
后利用马尔可夫随机域模型进行聚类处理的方
法 ]。Maddalena提出了一种基于自组织人工神
经网络的视频前景分割算法 j,可实现背景运动、
光照变化条件下前景对象的分割,该方法主要适用
于视频监控系统。吴思提出了一种基于动态背景
构造的视频运动对象自动分割算法 。该算法有
效地克服了显露背景和对象的不规则运动对分割
准确度的影响,能够准确地实现视频运动对象的自
动分割。田宏阳提出了一种基于运动估计和图形
金字塔的动态场景下的视频对象提取算法 。该
算法首先引入了相位相关法求取运动向量,避免了
视频序列中光照变化的影响,接着再根据参数模型
进行伞局运动估计来得到最终运动模板,然后利用
图形金字塔算法对当前模板内图像区域进行空间
分割,最终提取出语义视频对象。这些算法都有效
地实现了动态场景下视频运动对象的分割,但算法
复杂性高,影响实际运用。本文提出了一种基于全
局运动估 ‘和核密度检测的动态场景下视频运动
对象分割算法,降低了算法的复杂度,得到了较好
的分割结果。
2 匹配加权的全局运动估计与补偿
一
般的伞局运动模 主要有二参数的平动模
型、四参数的相似变换模型、六参数的仿射变换模
型、八参数的投影变换模型等。模型参数越多表示
场景的运动越精确,但相应的计算复杂度也越
高 】。由于视频序列帧间运动变化较小,文中采用
六参数的仿射变换模型作为背景运动模型,以在精
度和复杂性之间取得较好的折衷效果,其公式如
下:
{ :=一  ̄r+q- by 4+:-≥ c
其中,参数“、6 、d控制旋转与缩放,e、f决定平
移幅度。
计算机工程与科学2012,34(4)
估计全局运动参数P一[“ c’d .,] ,要考
虑到视频图像的特点以及计算的精确性、实时性。
首先,我们把图像从边界处向内收缩10个像素形
成样本点候选区域,并在该候选区域周围选取样本
点,以便减少边缘和运动对象对全局运动估计的影
响。其次我们选用32个4×4的小区域为样本点,
提高实时性。
设使用块匹配算法估计出第k帧中样本点
( , )在第k+1中的位置为( , ),而经仿射模
型变换到第k+1帧的位置为( ,Y ),设D为所
选样本点的集合,定义样本点集合的误差函数为:
E(P)一∑[(;一i, ) +( y ) ](2)
( , )ED
将式(1)代入式(2)得到:
E(P)一 l(;一“ —by—P) +
(f, )∈D
( 一盯一dy一/) _j (3)
则最优全局运动参数就是使式(3)达到最小值的矢
量P:
P 一argmin E(P) (4)
』
最优全局运动参数可通过最小二乘法对式(4)
求最小值得到。为了消除个别运动目标样本点对
带来的误差,提出采用匹配加权函数的方法对结果
进行修正。
令D 表示式(1)计算出的样本点在第k+1
帧中的位置集合,D 表示由块运动估计得到的样
本点在第k+1帧中位置的集合。定义误差:
ED—D D (5)
令 。、 。分别为E。的均值和方差。为每一个
样本点分配一个权值u.(D):
f1, 一IXn I≤3 ,)
叫(D)一 , ∈ED(6)
l0,i 一 £)1≥>3 cr『j
由于目标样本点与背景的运动偏差较大,表现
为一些奇异点,其统计特性偏离均值较远。因此,
可通过加权值剔除。
将式(3)修正如下:
E(P)一 ∑ ( , )E(2- ,一 一P) +
(“v)∈,)
( — dy
.
,、) (7)
进行迭代估计出全局运动参数。
得到全局运动参数后,根据运动估计所得到的
全局运动参数,在当前帧和前一帧之间作一个相应
的背景对齐的映射变换,消除全局运动所引起的背
景变化。
图1显示了Coastguard序列的第44、45帧图
像以及全局运动估计与补偿前后的帧差图像。
2024年4月23日发(作者:琦叶)
CN43—1258/TP
ISSN 1OO7 l3OX
计算机工程与科学
COMPUTER ENGINEERING&SCIENCE
2012年第34卷第4期
Vo1.34,No.4。2O12
文章编号:1007—130X(2012)04—0043—04
一
种动态场景下运动对象分割新算法
A Novel Approach for Moving Obj ect
Segmentation Used in Dynamic Scenes
马志强,张晓燕,朱子健,张锐
MA Zhi—qiang,ZHANG Xiao-yan,ZHU Zi-j ian,ZHANG Rui
(空军工程大学电讯工程学院网络工程系。陕西西安710077)
(Department of Network Engineering,School of Telecommunication Engineering,
Air Force Engineering University,Xi’an 710077。China)
摘要:视频运动对象分割是计算机视觉和视频处理的基本问题。在摄像机存在全局运动的动态场
景下,准确分割运动对象依然是难点和热点问题。本文提出一种基于全局运动补偿和核密度检测的动态
场景下视频运动对象分割算法。首先,提出匹配加权的全局运动估计补偿算法,消除动态场景下背景运动
对运动对象分割的影响;其次,采用非参数核密度估计方法分别估计各像素属于前景与背景的概率密度,
通过比较属于前景和属于背景的概率及形态学处理得到运动对象分割结果。实验结果证明,该方法实现
简单,有效地提高了动态场景下运动对象分割的准确性。
Abstract:Video moving obj ect segmentation is a basic problem of computer vision and video process—
ing.In the video sequences of a dynamic scene which has global(camera)motion,accurate moving ob
j ect segmentation is still a key and hot research topic.A novel video moving obj ect segmentation algo—
rithm based on global motion compensation and non—parametric kernel density estimation is proposed in
this paper.Firstly,an efficient and accurate global motion compensation method is used to remove the
motion of the background.Then the non—parametric kernel density estimation is applied to establish
f0reground/background probability models.Finally,the moving object can be obtained by comparing the
foregr0und/background probability and morphological post—processing.The experimental results dem—
onstrate that the proposed algorithm has good results and reduces the complexity of moving obj ect seg—
mentation in dynamic scenes.
关键词:动态场景;运动对象;运动补偿;核密度检测
Key words:dynamic scene;moving obj ect;motion compensation;kernel density estimation
doi:10.3969/j.issn.1007—130X.2012.04.009
中图分类号:TP391.4 文献标识码:A
关键环节,也是视频标准MPEG一4及MPEG一7的
引言
视频运动对象分割是视频处理到视频分析的
首要步骤和前提,在模式识别、计算机视觉等领域
有着广阔的应用前景。在实际应用中,为了扩大视
频流中的信息量,摄像机不可避免产生缩放、平移
收稿日期:20l1】1—05;修订日期:2012-02—10
基金项目:博士后科学基金特别资助项目(201104787);博士后科学基金资助项目(20100471838);陕西省自然基金资助项目
(201OJM8O14)
通讯地址:710077陕西省西安市空军工程大学电讯工程学院网络工程系张晓燕
Address:Departrrmnt of Network Engineering,School of Telecommunication Engineering,Air Force Engineering University,Xi’an.
Shaanxi 710077,P.R.China
44
和旋转等运动。由摄像机运动产生的全局运动使
得视频序列具有了动态场景。较之静态背景,动
态场景下的视频序列既包含图像的整体运动即全
局运动,又包含视频运动对象的个体运动即局部运
动,使得从动态场景中提取出运动对象变得非常复
杂,因此动态场景下视频运动对象的准确分割成为
了当前应用视觉领域的热点。
为了在动态场景下分割出视频运动对象,
Tsaig提出了一种首先使用透射模型和基于梯度
的技术进行帧间运动补偿,再进行分水岭分割,最
后利用马尔可夫随机域模型进行聚类处理的方
法 ]。Maddalena提出了一种基于自组织人工神
经网络的视频前景分割算法 j,可实现背景运动、
光照变化条件下前景对象的分割,该方法主要适用
于视频监控系统。吴思提出了一种基于动态背景
构造的视频运动对象自动分割算法 。该算法有
效地克服了显露背景和对象的不规则运动对分割
准确度的影响,能够准确地实现视频运动对象的自
动分割。田宏阳提出了一种基于运动估计和图形
金字塔的动态场景下的视频对象提取算法 。该
算法首先引入了相位相关法求取运动向量,避免了
视频序列中光照变化的影响,接着再根据参数模型
进行伞局运动估计来得到最终运动模板,然后利用
图形金字塔算法对当前模板内图像区域进行空间
分割,最终提取出语义视频对象。这些算法都有效
地实现了动态场景下视频运动对象的分割,但算法
复杂性高,影响实际运用。本文提出了一种基于全
局运动估 ‘和核密度检测的动态场景下视频运动
对象分割算法,降低了算法的复杂度,得到了较好
的分割结果。
2 匹配加权的全局运动估计与补偿
一
般的伞局运动模 主要有二参数的平动模
型、四参数的相似变换模型、六参数的仿射变换模
型、八参数的投影变换模型等。模型参数越多表示
场景的运动越精确,但相应的计算复杂度也越
高 】。由于视频序列帧间运动变化较小,文中采用
六参数的仿射变换模型作为背景运动模型,以在精
度和复杂性之间取得较好的折衷效果,其公式如
下:
{ :=一  ̄r+q- by 4+:-≥ c
其中,参数“、6 、d控制旋转与缩放,e、f决定平
移幅度。
计算机工程与科学2012,34(4)
估计全局运动参数P一[“ c’d .,] ,要考
虑到视频图像的特点以及计算的精确性、实时性。
首先,我们把图像从边界处向内收缩10个像素形
成样本点候选区域,并在该候选区域周围选取样本
点,以便减少边缘和运动对象对全局运动估计的影
响。其次我们选用32个4×4的小区域为样本点,
提高实时性。
设使用块匹配算法估计出第k帧中样本点
( , )在第k+1中的位置为( , ),而经仿射模
型变换到第k+1帧的位置为( ,Y ),设D为所
选样本点的集合,定义样本点集合的误差函数为:
E(P)一∑[(;一i, ) +( y ) ](2)
( , )ED
将式(1)代入式(2)得到:
E(P)一 l(;一“ —by—P) +
(f, )∈D
( 一盯一dy一/) _j (3)
则最优全局运动参数就是使式(3)达到最小值的矢
量P:
P 一argmin E(P) (4)
』
最优全局运动参数可通过最小二乘法对式(4)
求最小值得到。为了消除个别运动目标样本点对
带来的误差,提出采用匹配加权函数的方法对结果
进行修正。
令D 表示式(1)计算出的样本点在第k+1
帧中的位置集合,D 表示由块运动估计得到的样
本点在第k+1帧中位置的集合。定义误差:
ED—D D (5)
令 。、 。分别为E。的均值和方差。为每一个
样本点分配一个权值u.(D):
f1, 一IXn I≤3 ,)
叫(D)一 , ∈ED(6)
l0,i 一 £)1≥>3 cr『j
由于目标样本点与背景的运动偏差较大,表现
为一些奇异点,其统计特性偏离均值较远。因此,
可通过加权值剔除。
将式(3)修正如下:
E(P)一 ∑ ( , )E(2- ,一 一P) +
(“v)∈,)
( — dy
.
,、) (7)
进行迭代估计出全局运动参数。
得到全局运动参数后,根据运动估计所得到的
全局运动参数,在当前帧和前一帧之间作一个相应
的背景对齐的映射变换,消除全局运动所引起的背
景变化。
图1显示了Coastguard序列的第44、45帧图
像以及全局运动估计与补偿前后的帧差图像。