2024年10月11日发(作者：琦桃)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.7
(22)申请日 2017.08.28
(71)申请人 哈尔滨拓博科技有限公司
地址 150016 黑龙江省哈尔滨市道里区友谊路385号观江国际小区D栋1单元3901
室
(72)发明人 李祝强 冯大志 刘璐 杜国铭 孙晅 边文昆
(74)专利代理机构 哈尔滨市松花江专利商标事务所
代理人 岳泉清
(51)
(10)申请公布号 CN 107507247 A
(43)申请公布日 2017.12.22
权利要求说明书 说明书 幅图
(54)发明名称
一种投影键盘的实时动态自动化标
定方法
(57)摘要
一种投影键盘的实时动态自动化标
定方法，涉及一种投影键盘的自动化标定
方法。为了解决目前的标定方法存在较大
的标定误差的问题。本发明首先利用识别
摄像头拍摄一张LED标定板的图片，计算
识别摄像头的内参数矩阵和畸变模型的畸
变系数；将投影键盘投射到一个可移动的
平面上，实时标定出识别摄像头和投影键
盘之间的相对位置关系，并计算标定基准
点的图像坐标；根据投影键盘计算识别摄
像头与投影键盘相对位置关系并确定标定
基准点的世界坐标；根据投影变换关系建
立标定基准点从摄像机坐标到世界坐标系
的变换方程，得到投影变换矩阵；然后根
据投影键盘尺寸以及标定基准点的世界坐
标系计算各个按键的世界系坐标。本发明
适用于投影键盘的自动化标定。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种投影键盘的实时动态自动化标定方法,其特征在于,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,利用阈值分割算法检测LED标定板上的每个灯点,计算
灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于LED标定板
的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的LED标定板上
标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变模型的畸变系
数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上,实时标定出识别摄像头
和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系时需
要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键盘图
案四个顶点相重合,利用摄像头拍摄包含全部4个标定基准点在内的投射平面图片;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
2.根据权利要求1所述的一种投影键盘的实时动态自动化标定方法,其特征在于,还
包括:
步骤6、坐标匹配:
通过指尖对投影键盘进行操作,在投影键盘的投射装置底部设有红外激光器,用于对
指尖进行光补偿;
在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域,采用阈值分割算法
从识别摄像头所拍摄的图像中分割出指尖的反光区域,并计算指尖反光区域的质心
的图像坐标;最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内
参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标,采用畸变模
型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正,将校正后的指尖反光
区域的质心摄像机坐标系下的坐标再乘以步骤4中标定的识别摄像头外参数矩阵得
到指尖反光区质心的世界坐标,完成指尖区域的定位;
在步骤5生成的键盘表中进行查表,将按键坐标与指尖反光区质心的世界坐标进行
匹配,实现投影键盘和鼠标的响应。
3.根据权利要求1或2所述的一种投影键盘的实时动态自动化标定方法,其特征在于,
步骤5所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐
标系计算各个按键的世界系坐标的过程包括以下步骤:
投影键盘包括6排按键和所有按键右侧的鼠标区域;设投影键盘的6排按键分别设
有n1、n2、n3、n4、n5和n6个按键,采用如下方式计算按键坐标:
第一排按键坐标计算:
第一排n1按键中的每个按键的宽度为x1,按键高度为h1,按键水平之间的间隙为d1,
投影键盘左上顶点的世界坐标为(x,y,z),第一排按键的左上顶点横坐标为
(x1+d1)*(i1-1),其中i1表示第一排按键的序号,第一排按键的左上顶点纵坐标均为0;
第一排按键与第二排按键的距离为s1;
第二排按键坐标计算:
第二排前n2-1按键的宽度为x1,最后一个按键的宽度为x2=,第二排所有按键的高度
为h2,按键水平之间的间隙为d2;第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中
i2表示第二排按键的序号,第二排按键的左上顶点纵坐标均为(h1+s1);
根据第三排至第六排每个按键设计的长和宽,结合第二排按键坐标计算方案计算每
个按键的世界坐标;
鼠标区域计算:
按照鼠标区域四个顶点的世界坐标计算鼠标区域。
4.根据权利要求3所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤1中所述的识别摄像头是广角摄像头。
5.根据权利要求4所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所述的畸变模型
为Brown畸变模型。
6.根据权利要求5所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程采用张正
友标定算法实现。
7.根据权利要求6所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤4中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所述的畸变模型
为Brown畸变模型。
8.根据权利要求7所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤4中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程是利用牛顿法
实现的。
9.根据权利要求8所述的一种投影键盘的实时动态自动化标定方法,其特征在于,所
述识别摄像头装有滤光片;所述红外激光器发射的光线波长与滤光片的通过波长相
一致。
10.根据权利要求9所述的一种投影键盘的实时动态自动化标定方法,其特征在于,所
述的LED小灯板上的小灯共8行23列,灯与灯之间的水平间距和垂直间距均为
15mm。
说 明 书
技术领域
本发明涉及一种投影键盘的自动化标定方法。
背景技术
输入设备(键盘、鼠标)是计算机设备或者其他智能设备的人机交互的重要工具,随着
计算机设备或者可穿戴智能设备的微型化,诸多电子领域的产品将输入设备做到小
型化甚至微型化,但是输入设备越小给人们造成输入不方便的麻烦,但是仍然不能满
足移动、便携的需求,目前已经有一些计算机设备或者可穿戴智能设备采用了投影
键盘作为输入设备。
但是投影键盘的标定工作任然存在诸多问题,目前对于投影键盘的标定基本上都是
采用人工手动标定,实际标定过程中,采用人工手动标定,而且需要人工对投影键盘上
的每个按键都进行标定,而且不同的人员进行标定必定会使标定结果不同,带来误差,
使得键盘标定的准确性受到影响。例如,每个人的手指大小不同,会导致指尖坐标提
取的不一致,会导致标定结果的准确性下降。
由于设置有投影键盘的设备中,在投影键盘进行安装时,总会存在一定的安装误差,所
以标定的投影键盘经常存在误差,而且在设备使用时也经常遇到磕碰导致投影键盘
投射装置的相对位置发生偏差,进而导致投影键盘在实际过程中存在误差。
发明内容
本发明为了解决目前的标定方法存在较大的标定误差的问题,以及投影键盘投射装
置的相对位置发生偏差时投影键盘存在较大误差的问题。
一种投影键盘的实时动态自动化标定方法,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,利用阈值分割算法检测LED标定板上的每个灯点,计算
灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于LED标定板
的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的LED标定板上
标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变模型的畸变系
数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上,实时标定出识别摄像头
和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系时需
要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键盘图
案四个顶点相重合,利用摄像头拍摄包含全部4个标定基准点在内的投射平面图片;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
步骤6、坐标匹配:
通过指尖对投影键盘进行操作,在投影键盘的投射装置底部设有红外激光器,用于对
指尖进行光补偿;
在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域,采用阈值分割算法
从识别摄像头所拍摄的图像中分割出指尖的反光区域,并计算指尖反光区域的质心
的图像坐标;最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内
参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标,采用畸变模
型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正,将校正后的指尖反光
区域的质心摄像机坐标系下的坐标再乘以步骤4中标定的识别摄像头外参数矩阵得
到指尖反光区质心的世界坐标,完成指尖区域的定位;
在步骤5生成的键盘表中进行查表,将按键坐标与指尖反光区质心的世界坐标进行
匹配,实现投影键盘和鼠标的响应。
优选地,步骤5所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点
的世界坐标系计算各个按键的世界系坐标的过程包括以下步骤:
投影键盘包括6排按键和所有按键右侧的鼠标区域;设投影键盘的6排按键分别设
有n1、n2、n3、n4、n5和n6个按键,采用如下方式计算按键坐标:
第一排按键坐标计算:
第一排n1按键中的每个按键的宽度为x1,按键高度为h1,按键水平之间的间隙为d1,
投影键盘左上顶点的世界坐标为(x,y,z),第一排按键的左上顶点横坐标为
(x1+d1)*(i1-1),其中i1表示第一排按键的序号,第一排按键的左上顶点纵坐标均为0;
第一排按键与第二排按键的距离为s1;
第二排按键坐标计算:
第二排前n2-1按键的宽度为x1,最后一个按键的宽度为x2=,第二排所有按键的高度
为h2,按键水平之间的间隙为d2;第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中
i2表示第二排按键的序号,第二排按键的左上顶点纵坐标均为(h1+s1);
根据第三排至第六排每个按键设计的长和宽,结合第二排按键坐标计算方案计算每
个按键的世界坐标;
鼠标区域计算:
按照鼠标区域四个顶点的世界坐标计算鼠标区域。
优选地,步骤1中所述的识别摄像头是广角摄像头。
优选地,步骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所述
的畸变模型为Brown畸变模型。
优选地,步骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过
程采用张正友标定算法实现。
优选地,步骤4中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所述
的畸变模型为Brown畸变模型。
优选地,步骤4中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程是
利用牛顿法实现的。
优选地,所述识别摄像头装有滤光片;所述红外激光器发射的光线波长与滤光片的通
过波长相一致。
优选地,所述的LED小灯板上的小灯共8行23列,灯与灯之间的水平间距和垂直间
距均为15mm。
本发明具有以下有益效果:
本发明中只要摄像头捕获到一帧图像,就会对投影键盘进行一次标定,实现了动态实
时标定,标定更加及时,标定效果更加准确;即使装置遇到磕碰后投影键盘投射装置的
相对位置发生偏差时,或者在某些颠簸的环境中,识别摄像头与投影键盘之间的相对
位置不断发生变动,本发明也能够及时标定,标定效果也更加准确,具备更广阔的应用
场景。
同时,利用本发明进行投影键盘的自动标定,嫩够节省一部分人工操作,不但节省了人
力成本,同时也提高了标定效率,而且标定过程排除了人员不同导致的标定结果不同
的问题,很大程度上避免了人工标定带来的误差。针对200帧的投影键盘图像进行
标定,对投影键盘的标定准确率达到99%以上。
而且所有投影键盘的标准一致,使带有投影键盘的装置参数等标准一致,有利于设备
的自动化安装和校正,进一步保证了设备一致性和合格率。
本发明中的投影键盘与摄像头之间的位置关系可以是的变动的,即识别摄像头与投
影键盘投射装置可以分离,且摆放位置任意;这样不但设置更加灵活,设有投影键盘投
射装置的设备的设计更加灵活,也更易实现。
附图说明
图1为识别摄像头拍摄的LED标定板图像;
图2为识别摄像头捕获的4个标定基准点图像;
图3为投影键盘实时动态标定流程示意图。
具体实施方式
具体实施方式一:结合图3说明本实施方式,
一种投影键盘的实时动态自动化标定方法,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,如图1所示,利用阈值分割算法检测LED标定板上的每
个灯点,计算灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于
LED标定板的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的
LED标定板上标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变
模型的畸变系数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上(也可以是在平面上绘制
的键盘图案),因此投影键盘与识别摄像头相对位置不再固定,需要实时标定出识别摄
像头和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系
时需要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键
盘图案四个顶点相重合,4个标定基准点可以采用红外LED,方便识别摄像头检测,利
用摄像头拍摄包含全部4个标定基准点在内的投射平面图片,拍摄图片如图2所示;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
例如:投影键盘整体尺寸和各个按键尺寸已知,投影键盘长357mm,宽101mm,在计算
识别摄像头与投影键盘相对位置关系时,规定投影键盘左上顶点(在投影键盘的使用
者的方向上,投影键盘左上顶点对应图2中的右下角光斑)世界坐标为(0,0,0),右上顶
点(图2中左下角光斑)世界坐标(357,0,0),左下顶点(图2中右上角光斑)世界坐标
(0,101,0),右下顶点(图2中左上角光斑)世界坐标(357,101,0),并以此四个坐标作为步
骤2中四个校正基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
具体实施方式二:
一种投影键盘的实时动态自动化标定方法,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,如图1所示,利用阈值分割算法检测LED标定板上的每
个灯点,计算灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于
LED标定板的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的
LED标定板上标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变
模型的畸变系数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上(也可以是在平面上绘制
的键盘图案),因此投影键盘与识别摄像头相对位置不再固定,需要实时标定出识别摄
像头和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系
时需要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键
盘图案四个顶点相重合,4个标定基准点可以采用红外LED,方便识别摄像头检测,利
用摄像头拍摄包含全部4个标定基准点在内的投射平面图片,拍摄图片如图2所示;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
例如:投影键盘整体尺寸和各个按键尺寸已知,投影键盘长357mm,宽101mm,在计算
识别摄像头与投影键盘相对位置关系时,规定投影键盘左上顶点(在投影键盘的使用
者的方向上,投影键盘左上顶点对应图2中的右下角光斑)世界坐标为(0,0,0),右上顶
点(图2中左下角光斑)世界坐标(357,0,0),左下顶点(图2中右上角光斑)世界坐标
(0,101,0),右下顶点(图2中左上角光斑)世界坐标(357,101,0),并以此四个坐标作为步
骤2中四个校正基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
步骤6、坐标匹配:
通过指尖对投影键盘进行操作,在投影键盘的投射装置底部设有红外激光器,用于对
指尖进行光补偿,使得指尖在识别摄像头中的成像更加清晰;
在识别摄像头捕获到的图像中指尖反光区域亮度会明显高于周围区域,采用阈值分
割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域,并计算指尖反光区域
的质心的图像坐标;最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄
像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标,由于
识别摄像头为广角摄像头,采用Brown畸变模型对指尖反光区域的质心的摄像机坐
标系下的坐标进行校正,将校正后的指尖反光区域的质心摄像机坐标系下的坐标再
乘以步骤4中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标,完成
指尖区域的定位;
在步骤5生成的键盘表中进行查表,将按键坐标与指尖反光区质心的世界坐标进行
匹配,实现投影键盘和鼠标的响应。
具体实施方式三:
本实施方式步骤5所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准
点的世界坐标系计算各个按键的世界系坐标的过程包括以下步骤:
投影键盘包括6排按键和所有按键右侧的鼠标区域;设投影键盘的6排按键分别设
有n1、n2、n3、n4、n5和n6个按键,采用如下方式计算按键坐标:
第一排按键坐标计算:
第一排n1按键中的每个按键的宽度为x1,按键高度为h1,按键水平之间的间隙为d1,
投影键盘左上顶点的世界坐标为(x,y,z),第一排按键的左上顶点横坐标为
(x1+d1)*(i1-1),其中i1表示第一排按键的序号,第一排按键的左上顶点纵坐标均为0;
第一排按键与第二排按键的距离为s1;
第二排按键坐标计算:
第二排前n2-1按键的宽度为x1,最后一个按键的宽度为x2=,第二排所有按键的高度
为h2,按键水平之间的间隙为d2;第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中
i2表示第二排按键的序号,第二排按键的左上顶点纵坐标均为(h1+s1);
根据第三排至第六排每个按键设计的长和宽,结合第二排按键坐标计算方案计算每
个按键的世界坐标;
鼠标区域计算:
按照鼠标区域四个顶点的世界坐标计算鼠标区域。
例如投影键盘第一排有15个按键,第二排有14个按键,第三排有14个按键,第四排
有13个按键,第五排有13个按键,第六排有10个按键;
a.第一排按键坐标计算
第一排按键的宽度为16.6mm,按键高度为11mm,按键水平之间的间隙为1.4mm,由
于在前文在计算识别摄像头与投影键盘相对位置时规定左上顶点的世界坐标为
(0,0,0),因此第一排按键的左上顶点横坐标为(16.6+1.4)*(i1-1),其中i1表示第一排按
键的序号,i1大于等于1小于等于15,第一排按键的左上顶点纵坐标均为0;每排按键
之间的距离为1.4mm;
b.第二排按键坐标计算
第二排前13个按键的宽度为16.6mm,第14个按键的宽度为34.6mm,第二排所有按
键的高度为16.6mm,因此第二排按键左上顶点横坐标为(16.6+1.4)*(i2-1),其中i2表
示第二排按键的序号,i2大于等于1小于等于14,第二排按键的左上顶点纵坐标均为
12.4mm;
c.第三排按键坐标计算
第三排第1个按键和第14个按键的宽度为25.6mm,第2至第13个按键的宽度为
16.6mm,第三排所有按键高度均为16.6mm,因此第三排第1个按键左上顶点横坐标
为0,第2至第14个按键左上顶点的横坐标为25.6+1.4+(16.6+1.4)*(i3-2),其中i3表
示第三排按键的序号,i3大于等于2小于等于14,第三排按键的左上顶点纵坐标均为
30.4;
d.第四排按键坐标计算第四排第1个按键的宽度为30.1mm,第13个按键的宽度为
39.1mm,第2至第12个按键的宽度为16.6mm,第四排所有按键高度均为16.6mm,因
此第四排第1个按键左上顶点横坐标为0,第2至第13个按键左上顶点横坐标为
30.1+1.4+(16.6+1.4)*(i4-2),其中i4表示第四排按键的序号,i4大于等于2小于等于
13,第四排按键的左上顶点纵坐标均为48.4;
e.第五排按键坐标计算
第五排第1个按键的宽度为39.1mm,第11个按键的宽度为21.1mm,第13个按键的
宽度为25.6mm,第2至第10个按键和第12个按键的宽度为16.6mm,第五排所有按
键高度均为16.6mm,因此第五排第1个按键左上顶点横坐标为0,第2至第11个按
键左上顶点横坐标为39.1+1.4+(16.6+1.4)*(i5-2),其中i5表示第五排按键的序号,i5
大于等于2小于等于11,第12个按键左上顶点横坐标为
39.1+1.4+(16.6+1.4)*9+(21.1+1.6)mm,第13个按键左上顶点横坐标为
39.1+1.4+(16.6+1.4)*10+(21.1+1.6)mm,第五排按键左上顶点纵坐标为66.4;
f.第六排按键坐标计算
第六排第1个按键的宽度为25.6mm,第5个按键的宽度为88.6mm,第10个按键的宽
度为25.6mm,第2至第4和第6至第9个按键的宽度为16.6mm,第六排所有按键的
高度均为16.6mm,因此第六排第1个按键左上顶点横坐标为0,第2至第5个按键左
上顶点横坐标为25.6+1.4+(16.6+1.4)*(i6-2),其中i6为第六排按键的序号,i6大于等
于2小于等于5,第6至第9个按键左上顶点横坐标为
25.6+1.4+(16.6+1.4)*3+88.6+(16.6+1.4)*(i7-6),其中i7为第六排按键的序号,i7大于等
于6小于等于9,第10个按键左上顶点横坐标为25.6+88.6+1.4*9+16.6*7,第六排按
键左上顶点纵坐标为84.4;
g.鼠标区域计算
鼠标区域计算只需要给出鼠标区域四个顶点的世界坐标即可,按照鼠标区域左上顶
点世界坐标为(270,0),右上顶点世界坐标为(357,0),左下顶点世界坐标为(270,101),右
下顶点世界坐标为(357,101)。
其他步骤和参数与具体实施方式一或二相同。
具体实施方式四:
本实施方式步骤1中所述的识别摄像头是120度广角摄像头。
其他步骤和参数与具体实施方式一至三之一相同。
具体实施方式五:
本实施方式步骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所
述的畸变模型为Brown畸变模型。
其他步骤和参数与具体实施方式一至四之一相同。
具体实施方式六:
本实施方式步骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的
过程采用张正友标定算法实现,即采用张正友标定算法计算识别摄像头的内参数矩
阵和畸变模型的畸变系数,即完成摄像头标定。
其他步骤和参数与具体实施方式一至五之一相同。
具体实施方式七:
本实施方式步骤4中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所
述的畸变模型为Brown畸变模型。由于识别摄像头是120度广角摄像头,存在畸变,
所以根据Brown畸变模型计算标定基准点在相机坐标系下校正后的坐标。
其他步骤和参数与具体实施方式一至六之一相同。
具体实施方式八:
本实施方式步骤4中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程
是利用牛顿法实现的。
其他步骤和参数与具体实施方式一至七之一相同。
具体实施方式九:
本实施方式所述识别摄像头装有滤光片,滤波片的作用是只能使特定波长范围内的
光线可以被捕获到,可以滤除环境光的干扰;所述红外激光器发射的光线波长与滤光
片的通过波长相一致。
其他步骤和参数与具体实施方式一至八之一相同。
具体实施方式十:
本实施方式所述的LED小灯板上的小灯共8行23列,灯与灯之间的水平间距和垂
直间距均为15mm。
其他步骤和参数与具体实施方式一至九之一相同。
2024年10月11日发(作者：琦桃)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.7
(22)申请日 2017.08.28
(71)申请人 哈尔滨拓博科技有限公司
地址 150016 黑龙江省哈尔滨市道里区友谊路385号观江国际小区D栋1单元3901
室
(72)发明人 李祝强 冯大志 刘璐 杜国铭 孙晅 边文昆
(74)专利代理机构 哈尔滨市松花江专利商标事务所
代理人 岳泉清
(51)
(10)申请公布号 CN 107507247 A
(43)申请公布日 2017.12.22
权利要求说明书 说明书 幅图
(54)发明名称
一种投影键盘的实时动态自动化标
定方法
(57)摘要
一种投影键盘的实时动态自动化标
定方法，涉及一种投影键盘的自动化标定
方法。为了解决目前的标定方法存在较大
的标定误差的问题。本发明首先利用识别
摄像头拍摄一张LED标定板的图片，计算
识别摄像头的内参数矩阵和畸变模型的畸
变系数；将投影键盘投射到一个可移动的
平面上，实时标定出识别摄像头和投影键
盘之间的相对位置关系，并计算标定基准
点的图像坐标；根据投影键盘计算识别摄
像头与投影键盘相对位置关系并确定标定
基准点的世界坐标；根据投影变换关系建
立标定基准点从摄像机坐标到世界坐标系
的变换方程，得到投影变换矩阵；然后根
据投影键盘尺寸以及标定基准点的世界坐
标系计算各个按键的世界系坐标。本发明
适用于投影键盘的自动化标定。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种投影键盘的实时动态自动化标定方法,其特征在于,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,利用阈值分割算法检测LED标定板上的每个灯点,计算
灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于LED标定板
的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的LED标定板上
标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变模型的畸变系
数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上,实时标定出识别摄像头
和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系时需
要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键盘图
案四个顶点相重合,利用摄像头拍摄包含全部4个标定基准点在内的投射平面图片;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
2.根据权利要求1所述的一种投影键盘的实时动态自动化标定方法,其特征在于,还
包括:
步骤6、坐标匹配:
通过指尖对投影键盘进行操作,在投影键盘的投射装置底部设有红外激光器,用于对
指尖进行光补偿;
在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域,采用阈值分割算法
从识别摄像头所拍摄的图像中分割出指尖的反光区域,并计算指尖反光区域的质心
的图像坐标;最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内
参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标,采用畸变模
型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正,将校正后的指尖反光
区域的质心摄像机坐标系下的坐标再乘以步骤4中标定的识别摄像头外参数矩阵得
到指尖反光区质心的世界坐标,完成指尖区域的定位;
在步骤5生成的键盘表中进行查表,将按键坐标与指尖反光区质心的世界坐标进行
匹配,实现投影键盘和鼠标的响应。
3.根据权利要求1或2所述的一种投影键盘的实时动态自动化标定方法,其特征在于,
步骤5所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐
标系计算各个按键的世界系坐标的过程包括以下步骤:
投影键盘包括6排按键和所有按键右侧的鼠标区域;设投影键盘的6排按键分别设
有n1、n2、n3、n4、n5和n6个按键,采用如下方式计算按键坐标:
第一排按键坐标计算:
第一排n1按键中的每个按键的宽度为x1,按键高度为h1,按键水平之间的间隙为d1,
投影键盘左上顶点的世界坐标为(x,y,z),第一排按键的左上顶点横坐标为
(x1+d1)*(i1-1),其中i1表示第一排按键的序号,第一排按键的左上顶点纵坐标均为0;
第一排按键与第二排按键的距离为s1;
第二排按键坐标计算:
第二排前n2-1按键的宽度为x1,最后一个按键的宽度为x2=,第二排所有按键的高度
为h2,按键水平之间的间隙为d2;第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中
i2表示第二排按键的序号,第二排按键的左上顶点纵坐标均为(h1+s1);
根据第三排至第六排每个按键设计的长和宽,结合第二排按键坐标计算方案计算每
个按键的世界坐标;
鼠标区域计算:
按照鼠标区域四个顶点的世界坐标计算鼠标区域。
4.根据权利要求3所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤1中所述的识别摄像头是广角摄像头。
5.根据权利要求4所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所述的畸变模型
为Brown畸变模型。
6.根据权利要求5所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程采用张正
友标定算法实现。
7.根据权利要求6所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤4中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所述的畸变模型
为Brown畸变模型。
8.根据权利要求7所述的一种投影键盘的实时动态自动化标定方法,其特征在于,步
骤4中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程是利用牛顿法
实现的。
9.根据权利要求8所述的一种投影键盘的实时动态自动化标定方法,其特征在于,所
述识别摄像头装有滤光片;所述红外激光器发射的光线波长与滤光片的通过波长相
一致。
10.根据权利要求9所述的一种投影键盘的实时动态自动化标定方法,其特征在于,所
述的LED小灯板上的小灯共8行23列,灯与灯之间的水平间距和垂直间距均为
15mm。
说 明 书
技术领域
本发明涉及一种投影键盘的自动化标定方法。
背景技术
输入设备(键盘、鼠标)是计算机设备或者其他智能设备的人机交互的重要工具,随着
计算机设备或者可穿戴智能设备的微型化,诸多电子领域的产品将输入设备做到小
型化甚至微型化,但是输入设备越小给人们造成输入不方便的麻烦,但是仍然不能满
足移动、便携的需求,目前已经有一些计算机设备或者可穿戴智能设备采用了投影
键盘作为输入设备。
但是投影键盘的标定工作任然存在诸多问题,目前对于投影键盘的标定基本上都是
采用人工手动标定,实际标定过程中,采用人工手动标定,而且需要人工对投影键盘上
的每个按键都进行标定,而且不同的人员进行标定必定会使标定结果不同,带来误差,
使得键盘标定的准确性受到影响。例如,每个人的手指大小不同,会导致指尖坐标提
取的不一致,会导致标定结果的准确性下降。
由于设置有投影键盘的设备中,在投影键盘进行安装时,总会存在一定的安装误差,所
以标定的投影键盘经常存在误差,而且在设备使用时也经常遇到磕碰导致投影键盘
投射装置的相对位置发生偏差,进而导致投影键盘在实际过程中存在误差。
发明内容
本发明为了解决目前的标定方法存在较大的标定误差的问题,以及投影键盘投射装
置的相对位置发生偏差时投影键盘存在较大误差的问题。
一种投影键盘的实时动态自动化标定方法,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,利用阈值分割算法检测LED标定板上的每个灯点,计算
灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于LED标定板
的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的LED标定板上
标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变模型的畸变系
数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上,实时标定出识别摄像头
和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系时需
要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键盘图
案四个顶点相重合,利用摄像头拍摄包含全部4个标定基准点在内的投射平面图片;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
步骤6、坐标匹配:
通过指尖对投影键盘进行操作,在投影键盘的投射装置底部设有红外激光器,用于对
指尖进行光补偿;
在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域,采用阈值分割算法
从识别摄像头所拍摄的图像中分割出指尖的反光区域,并计算指尖反光区域的质心
的图像坐标;最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内
参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标,采用畸变模
型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正,将校正后的指尖反光
区域的质心摄像机坐标系下的坐标再乘以步骤4中标定的识别摄像头外参数矩阵得
到指尖反光区质心的世界坐标,完成指尖区域的定位;
在步骤5生成的键盘表中进行查表,将按键坐标与指尖反光区质心的世界坐标进行
匹配,实现投影键盘和鼠标的响应。
优选地,步骤5所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点
的世界坐标系计算各个按键的世界系坐标的过程包括以下步骤:
投影键盘包括6排按键和所有按键右侧的鼠标区域;设投影键盘的6排按键分别设
有n1、n2、n3、n4、n5和n6个按键,采用如下方式计算按键坐标:
第一排按键坐标计算:
第一排n1按键中的每个按键的宽度为x1,按键高度为h1,按键水平之间的间隙为d1,
投影键盘左上顶点的世界坐标为(x,y,z),第一排按键的左上顶点横坐标为
(x1+d1)*(i1-1),其中i1表示第一排按键的序号,第一排按键的左上顶点纵坐标均为0;
第一排按键与第二排按键的距离为s1;
第二排按键坐标计算:
第二排前n2-1按键的宽度为x1,最后一个按键的宽度为x2=,第二排所有按键的高度
为h2,按键水平之间的间隙为d2;第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中
i2表示第二排按键的序号,第二排按键的左上顶点纵坐标均为(h1+s1);
根据第三排至第六排每个按键设计的长和宽,结合第二排按键坐标计算方案计算每
个按键的世界坐标;
鼠标区域计算:
按照鼠标区域四个顶点的世界坐标计算鼠标区域。
优选地,步骤1中所述的识别摄像头是广角摄像头。
优选地,步骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所述
的畸变模型为Brown畸变模型。
优选地,步骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过
程采用张正友标定算法实现。
优选地,步骤4中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所述
的畸变模型为Brown畸变模型。
优选地,步骤4中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程是
利用牛顿法实现的。
优选地,所述识别摄像头装有滤光片;所述红外激光器发射的光线波长与滤光片的通
过波长相一致。
优选地,所述的LED小灯板上的小灯共8行23列,灯与灯之间的水平间距和垂直间
距均为15mm。
本发明具有以下有益效果:
本发明中只要摄像头捕获到一帧图像,就会对投影键盘进行一次标定,实现了动态实
时标定,标定更加及时,标定效果更加准确;即使装置遇到磕碰后投影键盘投射装置的
相对位置发生偏差时,或者在某些颠簸的环境中,识别摄像头与投影键盘之间的相对
位置不断发生变动,本发明也能够及时标定,标定效果也更加准确,具备更广阔的应用
场景。
同时,利用本发明进行投影键盘的自动标定,嫩够节省一部分人工操作,不但节省了人
力成本,同时也提高了标定效率,而且标定过程排除了人员不同导致的标定结果不同
的问题,很大程度上避免了人工标定带来的误差。针对200帧的投影键盘图像进行
标定,对投影键盘的标定准确率达到99%以上。
而且所有投影键盘的标准一致,使带有投影键盘的装置参数等标准一致,有利于设备
的自动化安装和校正,进一步保证了设备一致性和合格率。
本发明中的投影键盘与摄像头之间的位置关系可以是的变动的,即识别摄像头与投
影键盘投射装置可以分离,且摆放位置任意;这样不但设置更加灵活,设有投影键盘投
射装置的设备的设计更加灵活,也更易实现。
附图说明
图1为识别摄像头拍摄的LED标定板图像;
图2为识别摄像头捕获的4个标定基准点图像;
图3为投影键盘实时动态标定流程示意图。
具体实施方式
具体实施方式一:结合图3说明本实施方式,
一种投影键盘的实时动态自动化标定方法,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,如图1所示,利用阈值分割算法检测LED标定板上的每
个灯点,计算灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于
LED标定板的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的
LED标定板上标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变
模型的畸变系数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上(也可以是在平面上绘制
的键盘图案),因此投影键盘与识别摄像头相对位置不再固定,需要实时标定出识别摄
像头和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系
时需要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键
盘图案四个顶点相重合,4个标定基准点可以采用红外LED,方便识别摄像头检测,利
用摄像头拍摄包含全部4个标定基准点在内的投射平面图片,拍摄图片如图2所示;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
例如:投影键盘整体尺寸和各个按键尺寸已知,投影键盘长357mm,宽101mm,在计算
识别摄像头与投影键盘相对位置关系时,规定投影键盘左上顶点(在投影键盘的使用
者的方向上,投影键盘左上顶点对应图2中的右下角光斑)世界坐标为(0,0,0),右上顶
点(图2中左下角光斑)世界坐标(357,0,0),左下顶点(图2中右上角光斑)世界坐标
(0,101,0),右下顶点(图2中左上角光斑)世界坐标(357,101,0),并以此四个坐标作为步
骤2中四个校正基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
具体实施方式二:
一种投影键盘的实时动态自动化标定方法,包括:
步骤1、摄像头标定:
摄像头标定为识别摄像头的标定,用于进行指尖区域识别与定位;
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板,利用识别摄像头拍
摄一张LED标定板的图片,如图1所示,利用阈值分割算法检测LED标定板上的每
个灯点,计算灯点的质心作为标定点在图像中的坐标,即标定点的图像坐标;同时由于
LED标定板的尺寸已知,LED标定板上的每个灯点的世界坐标已知;根据已知的
LED标定板上标定点的图像坐标和世界坐标,计算识别摄像头的内参数矩阵和畸变
模型的畸变系数,即完成摄像头标定;
步骤2、标定基准点选取:
实时动态标定过程中,投影键盘投射到一个可移动的平面上(也可以是在平面上绘制
的键盘图案),因此投影键盘与识别摄像头相对位置不再固定,需要实时标定出识别摄
像头和投影键盘之间的相对位置关系即识别摄像头的外参数,在计算相对位置关系
时需要在投影键盘的投射平面设置4个标定基准点,4个标定基准点的位置与投影键
盘图案四个顶点相重合,4个标定基准点可以采用红外LED,方便识别摄像头检测,利
用摄像头拍摄包含全部4个标定基准点在内的投射平面图片,拍摄图片如图2所示;
采用阈值分割算法提取出投射平面图片中4个标定基准点分别对应的光斑区域,并
计算光斑区域的最小外接矩的中心作为标定基准点在图像中的坐标,即标定基准点
的图像坐标;
步骤3、基准点的世界坐标规定:
投影键盘整体尺寸和各个按键尺寸已知,投影键盘长x0、宽y0,在计算识别摄像头与
投影键盘相对位置关系时,规定投影键盘左上顶点世界坐标为(x,y,z),右上顶点世界
坐标(x+x0,y,z),左下顶点世界坐标(x,y+y0,z),右下顶点世界坐标(x+x0,y+y0,z),并以此
四个坐标作为步骤2中四个标定基准点的世界坐标;
例如:投影键盘整体尺寸和各个按键尺寸已知,投影键盘长357mm,宽101mm,在计算
识别摄像头与投影键盘相对位置关系时,规定投影键盘左上顶点(在投影键盘的使用
者的方向上,投影键盘左上顶点对应图2中的右下角光斑)世界坐标为(0,0,0),右上顶
点(图2中左下角光斑)世界坐标(357,0,0),左下顶点(图2中右上角光斑)世界坐标
(0,101,0),右下顶点(图2中左上角光斑)世界坐标(357,101,0),并以此四个坐标作为步
骤2中四个校正基准点的世界坐标;
步骤4、外参数动态标定:
将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标
定基准点在相机坐标系中的坐标,根据畸变模型计算标定基准点在相机坐标系下校
正后的坐标;
摄像机坐标系下的标定基准点坐标与步骤3中标定基准点世界坐标为投影变换关系,
根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程,最
后解出方程中的未知系数即得到投影变换矩阵,所述的投影变换矩阵用来描述识别
摄像头与投影键盘之间的相对位置关系;
步骤5、投影键盘计算:
根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个
按键的世界系坐标,生成的键盘表。
步骤6、坐标匹配:
通过指尖对投影键盘进行操作,在投影键盘的投射装置底部设有红外激光器,用于对
指尖进行光补偿,使得指尖在识别摄像头中的成像更加清晰;
在识别摄像头捕获到的图像中指尖反光区域亮度会明显高于周围区域,采用阈值分
割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域,并计算指尖反光区域
的质心的图像坐标;最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄
像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标,由于
识别摄像头为广角摄像头,采用Brown畸变模型对指尖反光区域的质心的摄像机坐
标系下的坐标进行校正,将校正后的指尖反光区域的质心摄像机坐标系下的坐标再
乘以步骤4中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标,完成
指尖区域的定位;
在步骤5生成的键盘表中进行查表,将按键坐标与指尖反光区质心的世界坐标进行
匹配,实现投影键盘和鼠标的响应。
具体实施方式三:
本实施方式步骤5所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准
点的世界坐标系计算各个按键的世界系坐标的过程包括以下步骤:
投影键盘包括6排按键和所有按键右侧的鼠标区域;设投影键盘的6排按键分别设
有n1、n2、n3、n4、n5和n6个按键,采用如下方式计算按键坐标:
第一排按键坐标计算:
第一排n1按键中的每个按键的宽度为x1,按键高度为h1,按键水平之间的间隙为d1,
投影键盘左上顶点的世界坐标为(x,y,z),第一排按键的左上顶点横坐标为
(x1+d1)*(i1-1),其中i1表示第一排按键的序号,第一排按键的左上顶点纵坐标均为0;
第一排按键与第二排按键的距离为s1;
第二排按键坐标计算:
第二排前n2-1按键的宽度为x1,最后一个按键的宽度为x2=,第二排所有按键的高度
为h2,按键水平之间的间隙为d2;第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中
i2表示第二排按键的序号,第二排按键的左上顶点纵坐标均为(h1+s1);
根据第三排至第六排每个按键设计的长和宽,结合第二排按键坐标计算方案计算每
个按键的世界坐标;
鼠标区域计算:
按照鼠标区域四个顶点的世界坐标计算鼠标区域。
例如投影键盘第一排有15个按键,第二排有14个按键,第三排有14个按键,第四排
有13个按键,第五排有13个按键,第六排有10个按键;
a.第一排按键坐标计算
第一排按键的宽度为16.6mm,按键高度为11mm,按键水平之间的间隙为1.4mm,由
于在前文在计算识别摄像头与投影键盘相对位置时规定左上顶点的世界坐标为
(0,0,0),因此第一排按键的左上顶点横坐标为(16.6+1.4)*(i1-1),其中i1表示第一排按
键的序号,i1大于等于1小于等于15,第一排按键的左上顶点纵坐标均为0;每排按键
之间的距离为1.4mm;
b.第二排按键坐标计算
第二排前13个按键的宽度为16.6mm,第14个按键的宽度为34.6mm,第二排所有按
键的高度为16.6mm,因此第二排按键左上顶点横坐标为(16.6+1.4)*(i2-1),其中i2表
示第二排按键的序号,i2大于等于1小于等于14,第二排按键的左上顶点纵坐标均为
12.4mm;
c.第三排按键坐标计算
第三排第1个按键和第14个按键的宽度为25.6mm,第2至第13个按键的宽度为
16.6mm,第三排所有按键高度均为16.6mm,因此第三排第1个按键左上顶点横坐标
为0,第2至第14个按键左上顶点的横坐标为25.6+1.4+(16.6+1.4)*(i3-2),其中i3表
示第三排按键的序号,i3大于等于2小于等于14,第三排按键的左上顶点纵坐标均为
30.4;
d.第四排按键坐标计算第四排第1个按键的宽度为30.1mm,第13个按键的宽度为
39.1mm,第2至第12个按键的宽度为16.6mm,第四排所有按键高度均为16.6mm,因
此第四排第1个按键左上顶点横坐标为0,第2至第13个按键左上顶点横坐标为
30.1+1.4+(16.6+1.4)*(i4-2),其中i4表示第四排按键的序号,i4大于等于2小于等于
13,第四排按键的左上顶点纵坐标均为48.4;
e.第五排按键坐标计算
第五排第1个按键的宽度为39.1mm,第11个按键的宽度为21.1mm,第13个按键的
宽度为25.6mm,第2至第10个按键和第12个按键的宽度为16.6mm,第五排所有按
键高度均为16.6mm,因此第五排第1个按键左上顶点横坐标为0,第2至第11个按
键左上顶点横坐标为39.1+1.4+(16.6+1.4)*(i5-2),其中i5表示第五排按键的序号,i5
大于等于2小于等于11,第12个按键左上顶点横坐标为
39.1+1.4+(16.6+1.4)*9+(21.1+1.6)mm,第13个按键左上顶点横坐标为
39.1+1.4+(16.6+1.4)*10+(21.1+1.6)mm,第五排按键左上顶点纵坐标为66.4;
f.第六排按键坐标计算
第六排第1个按键的宽度为25.6mm,第5个按键的宽度为88.6mm,第10个按键的宽
度为25.6mm,第2至第4和第6至第9个按键的宽度为16.6mm,第六排所有按键的
高度均为16.6mm,因此第六排第1个按键左上顶点横坐标为0,第2至第5个按键左
上顶点横坐标为25.6+1.4+(16.6+1.4)*(i6-2),其中i6为第六排按键的序号,i6大于等
于2小于等于5,第6至第9个按键左上顶点横坐标为
25.6+1.4+(16.6+1.4)*3+88.6+(16.6+1.4)*(i7-6),其中i7为第六排按键的序号,i7大于等
于6小于等于9,第10个按键左上顶点横坐标为25.6+88.6+1.4*9+16.6*7,第六排按
键左上顶点纵坐标为84.4;
g.鼠标区域计算
鼠标区域计算只需要给出鼠标区域四个顶点的世界坐标即可,按照鼠标区域左上顶
点世界坐标为(270,0),右上顶点世界坐标为(357,0),左下顶点世界坐标为(270,101),右
下顶点世界坐标为(357,101)。
其他步骤和参数与具体实施方式一或二相同。
具体实施方式四:
本实施方式步骤1中所述的识别摄像头是120度广角摄像头。
其他步骤和参数与具体实施方式一至三之一相同。
具体实施方式五:
本实施方式步骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所
述的畸变模型为Brown畸变模型。
其他步骤和参数与具体实施方式一至四之一相同。
具体实施方式六:
本实施方式步骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的
过程采用张正友标定算法实现,即采用张正友标定算法计算识别摄像头的内参数矩
阵和畸变模型的畸变系数,即完成摄像头标定。
其他步骤和参数与具体实施方式一至五之一相同。
具体实施方式七:
本实施方式步骤4中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所
述的畸变模型为Brown畸变模型。由于识别摄像头是120度广角摄像头,存在畸变,
所以根据Brown畸变模型计算标定基准点在相机坐标系下校正后的坐标。
其他步骤和参数与具体实施方式一至六之一相同。
具体实施方式八:
本实施方式步骤4中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程
是利用牛顿法实现的。
其他步骤和参数与具体实施方式一至七之一相同。
具体实施方式九:
本实施方式所述识别摄像头装有滤光片,滤波片的作用是只能使特定波长范围内的
光线可以被捕获到,可以滤除环境光的干扰;所述红外激光器发射的光线波长与滤光
片的通过波长相一致。
其他步骤和参数与具体实施方式一至八之一相同。
具体实施方式十:
本实施方式所述的LED小灯板上的小灯共8行23列,灯与灯之间的水平间距和垂
直间距均为15mm。
其他步骤和参数与具体实施方式一至九之一相同。