2024年4月17日发(作者:六书南)
第33卷第11期
文章编号:1006~9348(2016)1 1—0220—04
计算机仿真 2016年11月
家居中人机交互的自然手势准确识别仿真
李 建.田 昆
(山西传媒学院艺术设计系,山西太原030619)
摘要:对家居中人机交互的自然手势进行准确识别,可以提高家居的舒适度。在进行人机交互的自然手势识别时,常常出现
手势变化过快的现象,导致提取的手势特征较为模糊,而传统方法则对手势特征特征提取的精度要求极高,导致无法准确识
别自然手势。提出一种表观特征分析的家居中人机交互的自然手势准确识别方法。首先对采集的自然手势深度信息进行
实时分割,设定动态距离视为分割阈值,获得粗略的自然手势分割图像。通过椭圆拟合将获得的自然手势范围进一步细分,
然后提取自然手势手指弧度、指间弧度、手指数目等具备旋转平移不变性的表观特征,利用最小距离法进行家居环境下人机
交互的自然手势快速分类。仿真结果表明。所提算法可以精确地对家居人机交互的自然手势准确识别。
关键词:家居;人机交互;自然手势识别
中图分类号:TP391.4 文献标识码:B
Household of Human—.Computer Interaction in Natural Hand
Gestures Recognition Simulation Accurately
LI Jian,TIAN Kun
(Department of Art Design,Communication University of Shanxi,Shanxi,Tmyuan,030619,China)
ABSTRACT:A recognition method for natural hand gesture with human~computer interaction in home living based
on appearant feature analysis is proposed.Firstly,the collected depth information of natural hand gesture is real—
timely segmented,and the dynamic distance is set as the segmentation threshold value to obtain the cursory segmenta-
tion image of natural hand gesture.The collected range of natural hand gesture is further subdivided thorough ellipse
iftting.Then the apparent feature with rotation translation invariance of natural hand gesture is extracted,such as fin-
ger radian,radian between fingers and finger amount.Finally,the minimum distance method is used to classify the
natural hand gesture with human-computer interaction in home living rapidly.The simulation results show that the al—
gorithm mentioned above can recognize the natural hand gesture accurately.
KEYWORDS:Home living;Human—computer interaction;Natural gesture recognition
l 引言
手势是一种常见的交流方式,广泛应用于人们日常交流
势几何形状特征计算特征参数,利用决策树分类对自然手势
结合特征进行综合判断,识别手势。该方法时间复杂度较
低,但存在自然手势识别率较低的问题。文献[7]提出一种
基于无线数据手套的自然手势识别方法。该方法通过串口与
家居环境下无线数据手套进行通讯.实时获取无线手套运动
变化数据,并进行数据变换,获取家居环境下无线手套运动
活动中_l ]。随着网络信息技术的不断发展,人机交互活动
的频繁应用,手势成为人们与外界沟通的自然交流形式,渐
渐成为家居环境下人机交互中一种新兴的自然、直观、易于
人们学习的交互形式l3]。对手势进行识别在家居环境下人
机交互过程中具有重要作用[4-5]。
由于手势自身固有的特征属性,如:多义性、复杂多样性
以及空间上的差异性等,当前家居环境下的手势识别方法如
变化方向。加速度以及旋转角度等特征,完成自然手势对比,
最终实现家居环境下人机交互的自然手势识别。该方法自
然手势识别率较高.但存在家居环境下实时性较差等缺点。
文献『8]提出一种基于双目视觉视频的自然手势识别方法。
该方法首先根据双目视觉机制推测出三维空间内人机交互
的手势深度与手势对应面的关系.基于此关系对家居环境下
的三维手势实现识别。该方法对家居环境下人机交互的三
下:文献[6]提出一种基于视觉的几何特征自然手势识别方
法,该方法首先组建家居环境下多序列背景模型,并结合肤
色块追踪自然手势几何形状获取手势图像,通过分析自然手
收稿日期:2016—07—13修回日期:2016—07—20
・---——
维手势识别率较高,但是存在识别过程过于繁琐,处理速度
220・---——
慢的问题 圳]。
针对上述产生的问题。提出一种基于表观特征分析的自
曰(Ⅱ, ):{
L0
爿 (4)
然手势识别方法。仿真结果表明,所提算法可以精确地对家
居环境下人机交互的自然手势进行识别,且识别速率较快。
对家居环境下人机交互的深度图像进行预分割.分割获
得的自然手势范围含有部分手腕和手臂信息,此部分并不能
实现手势识别,且会直接影响手势特征的提取,属于冗余手
2人机交互的自然手势动态系统原理分析
人机交互的自然手势动态系统基本原理分析如下:
设定一串自然手势识别序列为
X=( l, 2,…, ) (1)
势信息,需要将其消除,在消除之前,需得知手心的位置,因
手掌范围通常情况下比手指及手掌范围的面积大,所以 部
分范围具备最大的点密度,利用高斯滤波对掩模B( , )进
行过滤.并对过滤结果设定较大的标准差,表示为
自然手势模板序列为
Y=(Y1,Y2,…,Y ) (2)
其中,n和m代表手势帧的时间序列编号,组建一个矩阵C,
矩阵中其一元素c( ,Yi)表现待检测自然手势序列中第i帧
的手势特征向量与模板序列中第 帧的手势特征向量间的距
离。 和y,越接近相似,说明c( ,Yj)的值越小,同样说明这
两个手势特征向量问的距离越小,表现为代价越小,相反,则
代价越大。
在利用人机交互的自然手势动态系统进行人机交互的
自然手势识别时,常常出现手势变化过快的现象,导致提取
的手势特征较为模糊,而传统方法则对手势特征特征提取的
精度要求极高,导致无法准确识别自然手势。提出一种基于
表观特征分析的家居中人机交互的自然手势准确识别方
法
3 家居中人机交互的自然手势识别方法
在对家居中人机交互的自然手势识别过程中.首先设定
动态分割阈值进行自然手势分割.获得粗略的自然手势分割
图像.通过椭圆拟合将获得的自然手势范围进一步细分.对
获得的手势区域图像进行边缘提取获得手势重心及手势轮
廓,计算自然手势手指弧度、手指数目等表观特征后用于自
然手势识别中.利用最小距离法实现自然手势快速分类识
别。
3.1 自然手势分割
家居环境下人机交互的自然手势区域含有较多的特征
点,首先设定人手的位置是与相机位置最近的,并且与相机
之间的距离在1m范围内.设定自然手势的指尖朝上。手心方
向朝向摄像头,手部范围平面与相机平面的夹角不大于45。
对家居环境下人机交互的自然手势深度信息进行处理,具体
步骤如下所述:
1)设定X ,为采集的自然手势深度图像的其中一点;
2)对深度图像进行扫描,获得自然手势深度图像的最小
深度值D
3)令 。 =20cm为阈值进行深度图像分割,获得手势
范围日。且表示为
H={ . f D(M, )<D + ^} (3)
4)将步骤3)中获得的手势范围H二值化,获得掩模
B( , )
一 o. ㈤
将高斯滤波输出的手部范围设定为 (“, ),选取该手
部范围内拥有最大灰度值对应的点C (即为占中密度最大的
点)。则认定该点即为所寻的掌心位置C,C=c 。
在明确掌心位置后,利用椭圆拟合将获得的手势范围进
行分割。具体过程如下所述:
1)令掌心C为自然手势手掌范围内切圆的圆心,设定R
=
lpxl为初始值;
2)逐渐增长R值:
3)直至从属范围 的点95%均包含在此切圆范围内。
至此,可将上述获得的手势(含有手腕)范围进一步分
割为手指范围F、手掌范围P及手腕范围 。其中手掌范围
属于手掌内切圆以内的部分:手腕范围 属于日范围内的
子集,其中 一R;利用下式)表示手指范围
F=H—W—P (6)
3.2 自然手势特征提取
家居环境下人机交互的自然手势识别过程中不同手势
特征对识别效果具有重要影响。在式(8)表现的手指范围
内获取具有自然手势旋转平移、放大缩小不变性的手指弧
度、手指之间弧度、手指的数目设定为自然手势识别特征,手
势特征提取过程如下:
1)针对分割获得的二值深度图像,利用cvmoments函数
结构计算距参数获得手势重心点。
在自然手势深度图像坐标轴为 ,Y的坐标系中,手势范
围曰的二维P、口阶中心距 及质心坐标表示如下
:。
f ( — ) (y—y) (7)
=Ml0/Moo,Y=Mo1/Moo (8)
其中,尬 代表手势范围B的二维0阶矩,也表示手势范围曰
的有效识别面积;一阶矩尬 、 。代表二维深度手势图像的
质心;( ,y)代表手势范围B的质心坐标。
2)计算家居环境下人机交互的自然手势边缘距离手部
范围重心点最大值 ,将手部范围重心点作为圆心,设定以£
值为半径做手部范围外接圆,并对目前自然手势最大外接圆
范围由内而外实现等距离分割;将其分割成1O等分,即为d
=L/IO,将自然手势范围重心作为圆心做同心圆,令同心圆
单次增加d直至自然手势最大圆半径为 ,定义i=1,2,…,
10为分层数目,0 代表第i层的手势范围圆轨迹。
一
221—
3)计算第i层(5 <10)手势范围圆轨迹O 上自然手
势手指弧度与指间弧度,将手部质心视为极坐标极点,依据
极坐标形式遍历手势范围圆轨迹上像素发生改变的点,分别
表现为白色像素的点改变为黑色像素的点及黑色像素的点
改变为白色像素的点,标记像素发生改变的像素点对应的角
度信息。计算手势范围手指弧度和指间弧度。
4)弧度的数目代表手部范围手指手腕与手掌相连的分
支和,依据手部范围手腕处宽度要远比手指处的宽度大,计
算每个分支宽度的平均值,将宽度最大值对应手部范围手腕
处分支,其余分支视为手指分支,则手指的数目表示为Ⅳ一
1.因手指长短不一,依据划分自然手势手部范围情况外层的
手指数目将减少,因此将分层标记手部范围手指数目用于自
然手势识别。
5)分层标记综合手部范围手指弧度 “和指间弧度
手指弧度数目Ⅳ ,视为家居环境下人机交互的自然手势识别
特征.将其应用于识别过程中。
3.3 自然手势分类识别
从待识别的家居环境下人机交互的自然手势深度图像
中提取出若干个手势特征量与模板相应的特征量进行对比,
计算自然手势深度图像与模板手势特征量间的距离,利用最
小距离法判断所属类别。具体识别过程如下所述:
首先输入一副深度自然手势图像,对输出的自然手势深
目 瑚最器器件
度信息进行实时分割,利用一种新的手势特征提取方法提取
自然手势图像的特征向量 [ ,卢 ,N ],其中, 代表手
势图像中手指弧度,卢 代表手指间弧度, 代表弧度数目;i
代表手势特征提取层,设定为5层,表示为i 代表其中一
层手指弧度的数目,表示为 ,计算求解待识别家居环境下
人机交互的自然手势特征向量 [ ,卢 ,Ni]及模板数据
集中规则手势向量眠[ol。 (1.n,No]的均方误差(其中隐
含联系为N = )
1三二
E(M ,Mo)=寺
一l 1 J 1
[( 【f l—oto( √)) ㈨
7,
(JB( .f)= ㈨)) ];m,n 5
将式(11)得出的均方误差E( , )视为家居环境下
人机交互的自然手势识别分类基准,将其最小值视为自然手
势识别结果输出。
4实验结果及分析
为证明本文提出的基于表观特征分析的自然手势识别
方法的有效性,需要进行相关仿真,将获取家居环境下人机
交互的自然手势500个.采用MATLAB搭建家居环境下人机
交互的自然手势识别的仿真平台,选用视频分辨率为720x
576,帧速为40fps。
分别利用本文方法和文献[8]、文献[9]方法进行家居
环境下人机交互的自然手势识别实验。在不同的实验次数
下.将3种不同方法的自然手势识别时间进行对比,对比结
果如图1所示。
....——
222...——
实验次数,次
图1 不同方法的自然手势识别时间进行对比
如图1所示.本文方法进行家居环境下人机交互的自然
手势识别速率要优于文献[8]、文献[9]的方法进行家居环
境下人机交互的自然手势识别速率,这主要是因为本文方法
提取自然手势手指弧度、指间弧度、手指数目等具备旋转平
移不变性的表观特征。利用最小距离法进行家居环境下人机
交互的自然手势快速分类,从而保障了本文方法进行家居环
境下人机交互的自然手势识别速率。
分别利用本文方法和文献[8]、文献[9]方法进行家居
环境下人机交互的自然手势识别,比较3种方法的自然手势
识别率,结果如表1所示。
表1不同方法自然手势识别率对比
如表1所示。本文方法进行家居环境下人机交互的自然
手势命令的识别率远高于文献[8]、文献[9]方法进行家居
环境下人机交互的自然手势识别率,这主要因为本文方法进
行家居环境下人机交互的自然手势识别时,首先设定动态分
割阈值进行自然手势分割,获得粗略的自然手势分割图像,
通过椭圆拟合将获得的自然手势范围进一步细分,从而有效
地保证了本文方法进行家居环境下人机交互的自然手势命
令的识别率。
分别利用本文方法和文献[8]、文献[9]方法进行自然
手势识别实验。在不同的实验次数下,将3种不同方法进行
手势识别效果对比,对比结果如图2所示。
如图2所示.本文方法进行家居环境下人机交互的自然
手势识别效果要优于文献[8]、文献[9]方法进行家居环境
下人机交互的自然手势识别效果。这主要是因为首先设定
动态分割阈值进行自然手势分割,获得粗略的自然手势分割
图像,通过椭圆拟合将获得的自然手势范围进一步细分,在
式(8)表现的手指范围内获取具有自然手势旋转平移、放大
快。
参考文献:
[1]杨尚跃,刘邵星,周文生.一种简单的人机交互手势识别算法
[J].工业控制计算机,2015,28(3):21—22.
[2]杨晓东,等.面向可穿戴设备的超声波手势识别方法[J].计
(I)原自然手势圈像 本文方法进行自然手势识别效果
算机科学,2015,42(1O):20—24.
一
[3]刘红,刘蓉,李书玲.基于随机投影的加速度手势识别[J].计
算机应用,2015,35(1):189—193.
[4] 陈燕.一种低失真衰减的智能网络视频监控识别系统.[J].科
技通报,2015,4(31):4O一42.
[5]屈燕琴,李昕,卢夏衍.基于表观特征分析的手势识别及其应
【c)文献【8】方法进行自然手势识别效果(d】文献【9】方法进行自然手势识别效果
用[J].计算机工程与科学,2015,37(1):139—145.
[6]林水强,吴亚东,陈永辉.基于几何特征的手势识别方法[J].
图2不同方法进行手势识别效果对比
计算机工程与设计,2014,35(2):636—640.
[7]刘若冰.智能人工视觉下机器人手势识别模型仿真[J].计算
缩小不变性的手指弧度、手指之间弧度、手指的数目设定为
机仿真,2015,32(7):327—330.
自然手势识别特征.最终利用最小距离法实现自然手势快速
[8] 公衍超,等.利用双目视觉视频的实时三维裸手手势识别[J].
分类识别,使得本文方法进行家居环境下人机交互的自然手
西安电子科技大学学报(自然科学版),2014,41(4):130—
136.
势识别效果较好。
[9]李东洁,等.基于PSO改进的BP神经网络数据手套手势识别
[J].电机与控制学报,2014,18(8):87—93.
5结论
[1O] 张毅,刘钰然,罗元.基于视觉的手势识别方法及其在数字信
本文通过分析当前手势识别方法进行家居环境下人机
号处理器上的实现[J].计算机应用,2014,34(3):833—836.
交互的自然手势识别时存在的弊端,提出一种基于表观特征
分析的自然手势识别方法。通过对采集的自然手势深度信
[作者简介]
息进行实时分割,获得粗略的自然手势分割图像。然后提取
李建(1979一),女(汉族),山西洪洞人,硕士研究
自然手势手指弧度、指间弧度、手指数目等具备旋转平移不
生,讲师.主要研究方向:交互设计、信息设计、大数
变性的表观特征.利用最小距离法进行家居环境下人机交互
据的信息可视化;
的自然手势快速分类。实验结果表明,所提算法可以精确地
田 岜(1985一),男(汉族),山西榆次人,硕士研究
对家居环境下人机交互的自然手势进行识别.且识别速率较
生,助教,主要研究方向:产品创新设计、用户体验与
交互设计。
(上接第202页)
致谢:感谢北京大学生命科学学院饶毅教授、杨威、李一
[6]
T Horprasert,D Harwood,L S Davis.A robust background sub—
凝提供果蝇行为实验视频,并在打架行为标定中给予帮助。
traction and shadow detection『C].Proc.ACCV.2000:983—988.
[7]
C Jung,et a1.Unsupervised segmentation of overlapped nuclei U-
参考文献:
sing Bayesian classification[J].Biomedical Engineering,IEEE
[1] 尚玉昌.动物行为学[M].北京:北京大学出版社,2005.
Transactions on,2010,57(12):2825—2832.
[2]H Dankert,et a1.Automated monitoring and analysis of social be-
[8] C Cones,V Vapnik.Support-vector networks[J].Machine learn-
havior in Drosophila[J].Nature methods,2009,6(4):297—303.
ing,1995,20(3):273—297.
[3] K Branson,et a1.High-throughput ethomics in large groups of
Drosophila[J].Nature methods,2009,6(6):451—457.
[作者简介]
[4]M Kabra,et 1a.JAABA:interactive machine learning for automat—
车向前(1991一),男(汉族),北京市人,硕士研究
ic annotation of animal behavior[J].Nature methods,2013,10
生.主要研究领域为图像处理与网络:
(1):64—67.
谷源涛(1976一),男(汉族),河北保定市人,副教
[5]c R Wren,et a1.Pfinder:Rela-time tracking of the human body
授,博士研究生导师,主要研究领域为通信、网络和
[J].Pattern Analysis and Machine Intelligence,IEEE Transac・
信号处理。
tions on,1997,19(7):780-785.
.---——
223.---——
2024年4月17日发(作者:六书南)
第33卷第11期
文章编号:1006~9348(2016)1 1—0220—04
计算机仿真 2016年11月
家居中人机交互的自然手势准确识别仿真
李 建.田 昆
(山西传媒学院艺术设计系,山西太原030619)
摘要:对家居中人机交互的自然手势进行准确识别,可以提高家居的舒适度。在进行人机交互的自然手势识别时,常常出现
手势变化过快的现象,导致提取的手势特征较为模糊,而传统方法则对手势特征特征提取的精度要求极高,导致无法准确识
别自然手势。提出一种表观特征分析的家居中人机交互的自然手势准确识别方法。首先对采集的自然手势深度信息进行
实时分割,设定动态距离视为分割阈值,获得粗略的自然手势分割图像。通过椭圆拟合将获得的自然手势范围进一步细分,
然后提取自然手势手指弧度、指间弧度、手指数目等具备旋转平移不变性的表观特征,利用最小距离法进行家居环境下人机
交互的自然手势快速分类。仿真结果表明。所提算法可以精确地对家居人机交互的自然手势准确识别。
关键词:家居;人机交互;自然手势识别
中图分类号:TP391.4 文献标识码:B
Household of Human—.Computer Interaction in Natural Hand
Gestures Recognition Simulation Accurately
LI Jian,TIAN Kun
(Department of Art Design,Communication University of Shanxi,Shanxi,Tmyuan,030619,China)
ABSTRACT:A recognition method for natural hand gesture with human~computer interaction in home living based
on appearant feature analysis is proposed.Firstly,the collected depth information of natural hand gesture is real—
timely segmented,and the dynamic distance is set as the segmentation threshold value to obtain the cursory segmenta-
tion image of natural hand gesture.The collected range of natural hand gesture is further subdivided thorough ellipse
iftting.Then the apparent feature with rotation translation invariance of natural hand gesture is extracted,such as fin-
ger radian,radian between fingers and finger amount.Finally,the minimum distance method is used to classify the
natural hand gesture with human-computer interaction in home living rapidly.The simulation results show that the al—
gorithm mentioned above can recognize the natural hand gesture accurately.
KEYWORDS:Home living;Human—computer interaction;Natural gesture recognition
l 引言
手势是一种常见的交流方式,广泛应用于人们日常交流
势几何形状特征计算特征参数,利用决策树分类对自然手势
结合特征进行综合判断,识别手势。该方法时间复杂度较
低,但存在自然手势识别率较低的问题。文献[7]提出一种
基于无线数据手套的自然手势识别方法。该方法通过串口与
家居环境下无线数据手套进行通讯.实时获取无线手套运动
变化数据,并进行数据变换,获取家居环境下无线手套运动
活动中_l ]。随着网络信息技术的不断发展,人机交互活动
的频繁应用,手势成为人们与外界沟通的自然交流形式,渐
渐成为家居环境下人机交互中一种新兴的自然、直观、易于
人们学习的交互形式l3]。对手势进行识别在家居环境下人
机交互过程中具有重要作用[4-5]。
由于手势自身固有的特征属性,如:多义性、复杂多样性
以及空间上的差异性等,当前家居环境下的手势识别方法如
变化方向。加速度以及旋转角度等特征,完成自然手势对比,
最终实现家居环境下人机交互的自然手势识别。该方法自
然手势识别率较高.但存在家居环境下实时性较差等缺点。
文献『8]提出一种基于双目视觉视频的自然手势识别方法。
该方法首先根据双目视觉机制推测出三维空间内人机交互
的手势深度与手势对应面的关系.基于此关系对家居环境下
的三维手势实现识别。该方法对家居环境下人机交互的三
下:文献[6]提出一种基于视觉的几何特征自然手势识别方
法,该方法首先组建家居环境下多序列背景模型,并结合肤
色块追踪自然手势几何形状获取手势图像,通过分析自然手
收稿日期:2016—07—13修回日期:2016—07—20
・---——
维手势识别率较高,但是存在识别过程过于繁琐,处理速度
220・---——
慢的问题 圳]。
针对上述产生的问题。提出一种基于表观特征分析的自
曰(Ⅱ, ):{
L0
爿 (4)
然手势识别方法。仿真结果表明,所提算法可以精确地对家
居环境下人机交互的自然手势进行识别,且识别速率较快。
对家居环境下人机交互的深度图像进行预分割.分割获
得的自然手势范围含有部分手腕和手臂信息,此部分并不能
实现手势识别,且会直接影响手势特征的提取,属于冗余手
2人机交互的自然手势动态系统原理分析
人机交互的自然手势动态系统基本原理分析如下:
设定一串自然手势识别序列为
X=( l, 2,…, ) (1)
势信息,需要将其消除,在消除之前,需得知手心的位置,因
手掌范围通常情况下比手指及手掌范围的面积大,所以 部
分范围具备最大的点密度,利用高斯滤波对掩模B( , )进
行过滤.并对过滤结果设定较大的标准差,表示为
自然手势模板序列为
Y=(Y1,Y2,…,Y ) (2)
其中,n和m代表手势帧的时间序列编号,组建一个矩阵C,
矩阵中其一元素c( ,Yi)表现待检测自然手势序列中第i帧
的手势特征向量与模板序列中第 帧的手势特征向量间的距
离。 和y,越接近相似,说明c( ,Yj)的值越小,同样说明这
两个手势特征向量问的距离越小,表现为代价越小,相反,则
代价越大。
在利用人机交互的自然手势动态系统进行人机交互的
自然手势识别时,常常出现手势变化过快的现象,导致提取
的手势特征较为模糊,而传统方法则对手势特征特征提取的
精度要求极高,导致无法准确识别自然手势。提出一种基于
表观特征分析的家居中人机交互的自然手势准确识别方
法
3 家居中人机交互的自然手势识别方法
在对家居中人机交互的自然手势识别过程中.首先设定
动态分割阈值进行自然手势分割.获得粗略的自然手势分割
图像.通过椭圆拟合将获得的自然手势范围进一步细分.对
获得的手势区域图像进行边缘提取获得手势重心及手势轮
廓,计算自然手势手指弧度、手指数目等表观特征后用于自
然手势识别中.利用最小距离法实现自然手势快速分类识
别。
3.1 自然手势分割
家居环境下人机交互的自然手势区域含有较多的特征
点,首先设定人手的位置是与相机位置最近的,并且与相机
之间的距离在1m范围内.设定自然手势的指尖朝上。手心方
向朝向摄像头,手部范围平面与相机平面的夹角不大于45。
对家居环境下人机交互的自然手势深度信息进行处理,具体
步骤如下所述:
1)设定X ,为采集的自然手势深度图像的其中一点;
2)对深度图像进行扫描,获得自然手势深度图像的最小
深度值D
3)令 。 =20cm为阈值进行深度图像分割,获得手势
范围日。且表示为
H={ . f D(M, )<D + ^} (3)
4)将步骤3)中获得的手势范围H二值化,获得掩模
B( , )
一 o. ㈤
将高斯滤波输出的手部范围设定为 (“, ),选取该手
部范围内拥有最大灰度值对应的点C (即为占中密度最大的
点)。则认定该点即为所寻的掌心位置C,C=c 。
在明确掌心位置后,利用椭圆拟合将获得的手势范围进
行分割。具体过程如下所述:
1)令掌心C为自然手势手掌范围内切圆的圆心,设定R
=
lpxl为初始值;
2)逐渐增长R值:
3)直至从属范围 的点95%均包含在此切圆范围内。
至此,可将上述获得的手势(含有手腕)范围进一步分
割为手指范围F、手掌范围P及手腕范围 。其中手掌范围
属于手掌内切圆以内的部分:手腕范围 属于日范围内的
子集,其中 一R;利用下式)表示手指范围
F=H—W—P (6)
3.2 自然手势特征提取
家居环境下人机交互的自然手势识别过程中不同手势
特征对识别效果具有重要影响。在式(8)表现的手指范围
内获取具有自然手势旋转平移、放大缩小不变性的手指弧
度、手指之间弧度、手指的数目设定为自然手势识别特征,手
势特征提取过程如下:
1)针对分割获得的二值深度图像,利用cvmoments函数
结构计算距参数获得手势重心点。
在自然手势深度图像坐标轴为 ,Y的坐标系中,手势范
围曰的二维P、口阶中心距 及质心坐标表示如下
:。
f ( — ) (y—y) (7)
=Ml0/Moo,Y=Mo1/Moo (8)
其中,尬 代表手势范围B的二维0阶矩,也表示手势范围曰
的有效识别面积;一阶矩尬 、 。代表二维深度手势图像的
质心;( ,y)代表手势范围B的质心坐标。
2)计算家居环境下人机交互的自然手势边缘距离手部
范围重心点最大值 ,将手部范围重心点作为圆心,设定以£
值为半径做手部范围外接圆,并对目前自然手势最大外接圆
范围由内而外实现等距离分割;将其分割成1O等分,即为d
=L/IO,将自然手势范围重心作为圆心做同心圆,令同心圆
单次增加d直至自然手势最大圆半径为 ,定义i=1,2,…,
10为分层数目,0 代表第i层的手势范围圆轨迹。
一
221—
3)计算第i层(5 <10)手势范围圆轨迹O 上自然手
势手指弧度与指间弧度,将手部质心视为极坐标极点,依据
极坐标形式遍历手势范围圆轨迹上像素发生改变的点,分别
表现为白色像素的点改变为黑色像素的点及黑色像素的点
改变为白色像素的点,标记像素发生改变的像素点对应的角
度信息。计算手势范围手指弧度和指间弧度。
4)弧度的数目代表手部范围手指手腕与手掌相连的分
支和,依据手部范围手腕处宽度要远比手指处的宽度大,计
算每个分支宽度的平均值,将宽度最大值对应手部范围手腕
处分支,其余分支视为手指分支,则手指的数目表示为Ⅳ一
1.因手指长短不一,依据划分自然手势手部范围情况外层的
手指数目将减少,因此将分层标记手部范围手指数目用于自
然手势识别。
5)分层标记综合手部范围手指弧度 “和指间弧度
手指弧度数目Ⅳ ,视为家居环境下人机交互的自然手势识别
特征.将其应用于识别过程中。
3.3 自然手势分类识别
从待识别的家居环境下人机交互的自然手势深度图像
中提取出若干个手势特征量与模板相应的特征量进行对比,
计算自然手势深度图像与模板手势特征量间的距离,利用最
小距离法判断所属类别。具体识别过程如下所述:
首先输入一副深度自然手势图像,对输出的自然手势深
目 瑚最器器件
度信息进行实时分割,利用一种新的手势特征提取方法提取
自然手势图像的特征向量 [ ,卢 ,N ],其中, 代表手
势图像中手指弧度,卢 代表手指间弧度, 代表弧度数目;i
代表手势特征提取层,设定为5层,表示为i 代表其中一
层手指弧度的数目,表示为 ,计算求解待识别家居环境下
人机交互的自然手势特征向量 [ ,卢 ,Ni]及模板数据
集中规则手势向量眠[ol。 (1.n,No]的均方误差(其中隐
含联系为N = )
1三二
E(M ,Mo)=寺
一l 1 J 1
[( 【f l—oto( √)) ㈨
7,
(JB( .f)= ㈨)) ];m,n 5
将式(11)得出的均方误差E( , )视为家居环境下
人机交互的自然手势识别分类基准,将其最小值视为自然手
势识别结果输出。
4实验结果及分析
为证明本文提出的基于表观特征分析的自然手势识别
方法的有效性,需要进行相关仿真,将获取家居环境下人机
交互的自然手势500个.采用MATLAB搭建家居环境下人机
交互的自然手势识别的仿真平台,选用视频分辨率为720x
576,帧速为40fps。
分别利用本文方法和文献[8]、文献[9]方法进行家居
环境下人机交互的自然手势识别实验。在不同的实验次数
下.将3种不同方法的自然手势识别时间进行对比,对比结
果如图1所示。
....——
222...——
实验次数,次
图1 不同方法的自然手势识别时间进行对比
如图1所示.本文方法进行家居环境下人机交互的自然
手势识别速率要优于文献[8]、文献[9]的方法进行家居环
境下人机交互的自然手势识别速率,这主要是因为本文方法
提取自然手势手指弧度、指间弧度、手指数目等具备旋转平
移不变性的表观特征。利用最小距离法进行家居环境下人机
交互的自然手势快速分类,从而保障了本文方法进行家居环
境下人机交互的自然手势识别速率。
分别利用本文方法和文献[8]、文献[9]方法进行家居
环境下人机交互的自然手势识别,比较3种方法的自然手势
识别率,结果如表1所示。
表1不同方法自然手势识别率对比
如表1所示。本文方法进行家居环境下人机交互的自然
手势命令的识别率远高于文献[8]、文献[9]方法进行家居
环境下人机交互的自然手势识别率,这主要因为本文方法进
行家居环境下人机交互的自然手势识别时,首先设定动态分
割阈值进行自然手势分割,获得粗略的自然手势分割图像,
通过椭圆拟合将获得的自然手势范围进一步细分,从而有效
地保证了本文方法进行家居环境下人机交互的自然手势命
令的识别率。
分别利用本文方法和文献[8]、文献[9]方法进行自然
手势识别实验。在不同的实验次数下,将3种不同方法进行
手势识别效果对比,对比结果如图2所示。
如图2所示.本文方法进行家居环境下人机交互的自然
手势识别效果要优于文献[8]、文献[9]方法进行家居环境
下人机交互的自然手势识别效果。这主要是因为首先设定
动态分割阈值进行自然手势分割,获得粗略的自然手势分割
图像,通过椭圆拟合将获得的自然手势范围进一步细分,在
式(8)表现的手指范围内获取具有自然手势旋转平移、放大
快。
参考文献:
[1]杨尚跃,刘邵星,周文生.一种简单的人机交互手势识别算法
[J].工业控制计算机,2015,28(3):21—22.
[2]杨晓东,等.面向可穿戴设备的超声波手势识别方法[J].计
(I)原自然手势圈像 本文方法进行自然手势识别效果
算机科学,2015,42(1O):20—24.
一
[3]刘红,刘蓉,李书玲.基于随机投影的加速度手势识别[J].计
算机应用,2015,35(1):189—193.
[4] 陈燕.一种低失真衰减的智能网络视频监控识别系统.[J].科
技通报,2015,4(31):4O一42.
[5]屈燕琴,李昕,卢夏衍.基于表观特征分析的手势识别及其应
【c)文献【8】方法进行自然手势识别效果(d】文献【9】方法进行自然手势识别效果
用[J].计算机工程与科学,2015,37(1):139—145.
[6]林水强,吴亚东,陈永辉.基于几何特征的手势识别方法[J].
图2不同方法进行手势识别效果对比
计算机工程与设计,2014,35(2):636—640.
[7]刘若冰.智能人工视觉下机器人手势识别模型仿真[J].计算
缩小不变性的手指弧度、手指之间弧度、手指的数目设定为
机仿真,2015,32(7):327—330.
自然手势识别特征.最终利用最小距离法实现自然手势快速
[8] 公衍超,等.利用双目视觉视频的实时三维裸手手势识别[J].
分类识别,使得本文方法进行家居环境下人机交互的自然手
西安电子科技大学学报(自然科学版),2014,41(4):130—
136.
势识别效果较好。
[9]李东洁,等.基于PSO改进的BP神经网络数据手套手势识别
[J].电机与控制学报,2014,18(8):87—93.
5结论
[1O] 张毅,刘钰然,罗元.基于视觉的手势识别方法及其在数字信
本文通过分析当前手势识别方法进行家居环境下人机
号处理器上的实现[J].计算机应用,2014,34(3):833—836.
交互的自然手势识别时存在的弊端,提出一种基于表观特征
分析的自然手势识别方法。通过对采集的自然手势深度信
[作者简介]
息进行实时分割,获得粗略的自然手势分割图像。然后提取
李建(1979一),女(汉族),山西洪洞人,硕士研究
自然手势手指弧度、指间弧度、手指数目等具备旋转平移不
生,讲师.主要研究方向:交互设计、信息设计、大数
变性的表观特征.利用最小距离法进行家居环境下人机交互
据的信息可视化;
的自然手势快速分类。实验结果表明,所提算法可以精确地
田 岜(1985一),男(汉族),山西榆次人,硕士研究
对家居环境下人机交互的自然手势进行识别.且识别速率较
生,助教,主要研究方向:产品创新设计、用户体验与
交互设计。
(上接第202页)
致谢:感谢北京大学生命科学学院饶毅教授、杨威、李一
[6]
T Horprasert,D Harwood,L S Davis.A robust background sub—
凝提供果蝇行为实验视频,并在打架行为标定中给予帮助。
traction and shadow detection『C].Proc.ACCV.2000:983—988.
[7]
C Jung,et a1.Unsupervised segmentation of overlapped nuclei U-
参考文献:
sing Bayesian classification[J].Biomedical Engineering,IEEE
[1] 尚玉昌.动物行为学[M].北京:北京大学出版社,2005.
Transactions on,2010,57(12):2825—2832.
[2]H Dankert,et a1.Automated monitoring and analysis of social be-
[8] C Cones,V Vapnik.Support-vector networks[J].Machine learn-
havior in Drosophila[J].Nature methods,2009,6(4):297—303.
ing,1995,20(3):273—297.
[3] K Branson,et a1.High-throughput ethomics in large groups of
Drosophila[J].Nature methods,2009,6(6):451—457.
[作者简介]
[4]M Kabra,et 1a.JAABA:interactive machine learning for automat—
车向前(1991一),男(汉族),北京市人,硕士研究
ic annotation of animal behavior[J].Nature methods,2013,10
生.主要研究领域为图像处理与网络:
(1):64—67.
谷源涛(1976一),男(汉族),河北保定市人,副教
[5]c R Wren,et a1.Pfinder:Rela-time tracking of the human body
授,博士研究生导师,主要研究领域为通信、网络和
[J].Pattern Analysis and Machine Intelligence,IEEE Transac・
信号处理。
tions on,1997,19(7):780-785.
.---——
223.---——