2024年4月28日发(作者：完慧晨)
一般位置上的双摄像头立体视觉测距
发表时间：2011-04-07T17:06:19.440Z 来源：《价值工程》2011年第3月上旬 作者： 柳有权 丁炳源
[导读] 本文基于一般位置上的双普通摄像头通过立体视觉的方法进行测距研究。
柳有权 Liu Youquan；丁炳源 Ding Bingyuan
（长安大学信息工程学院，西安 710064）
（School of Information Engineering，Chang'an University，Xi'an 710064，China）
摘要： 本文基于一般位置上的双普通摄像头通过立体视觉的方法进行测距研究。为了减少错误匹配点对的个数，先采用Harris角点检测
法对双摄像头捕获的两幅图像进行角点检测，然后将检测出的角点作为候选特征点，结合SIFT立体匹配算法实现对应点的匹配，从而进一
步进行测距，该方法提高了测距的精度。
Abstract: With two webcams in general positions, the distance is measured based on stereo vision technology. To avoid too many
wrong matching points, Harris corner detection algorithm is used firstly, providing candidate matching points for SIFT algorithm. In such a
way the accuracy of the distance measurement is improved obviously.
关键词： 立体视觉；双摄像头；SIFT；Harris角点检测；测距
Key words: Stereo vision；double webcams；SIFT；Harris corner detection；distance measurement
中图分类号：TP34 文献标识码：A 文章编号：1006-4311（2011）07-0146-02
0 引言
双目立体视觉测距利用视差原理，处理不同视角下获取的对同一场景的两幅图像，从而恢复出物体的三维几何信息，并测得空间距离。
在双目立体视觉中，摄像机标定和立体匹配是最关键技术，所以当今双目立体视觉的理论研究，集中在摄像机标定方法和立体匹配算法的
研究[1-5]。摄像机标定用于获取摄像机的内外参数，立体匹配是寻找对应图像中的共轭像点。
1 图像坐标系、摄像机坐标系和世界坐标系
如图1所示，图像每一个像素的坐标（u,v）只表示像素位于数组中的列数与行数，因此，需要建立以物理单位（如毫米）表示的图像坐
标系，该坐标系以图像内某一点O1为原点，X轴与Y轴分别与u、v轴平行，如图1所示。其中（u，v）表示以像素为单位的图像坐标系的坐
标，（X，Y）表示以毫米为单位的图像坐标系的坐标。在O1XY坐标系中，原点O1定义在摄像机光轴与图像平面的交点，该点一般位于图
像中心处，但由于某些原因，也会有些偏离，若O1在uv坐标系中坐标为（u0，v0），每一个像素在X轴与Y轴方向上的物理尺寸为dX、
dY，则图像中任意一个像素在两个坐标系下的坐标有如下关系（1）
基于针孔相机假设，摄像机成像几何关系可由图2所示。其中O点称为摄像机光心，x轴和y轴与图像的X轴与Y轴平行，z轴为摄像机光
轴，它与图像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，由点O与x、y、z轴组成的直角坐标系称为摄像机坐标系。OO1
为摄像机焦距。
由于摄像机可安装在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标
系称为世界坐标系。它由XW、YW、ZW轴组成。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述。因此，空
间上某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别是XW=（XW，YW，ZW，1）T与x=（x，y，z，1）T，于是存在如下关
系：（2）
其中，R为3×3正交单位矩阵；t为三维平移向量；0=（0，0，0）T；M2为4×4矩阵。
2 双目立体视觉系统的测量原理
双目立体视觉测量利用三角法原理获取三维信息。两个摄像机的图像平面同被测物体之间构成一个三角形。已知两摄像机之间的位置关
系，便可以获取两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。双目立体视觉系统一般由两个摄像机或者由一个运动
的摄像机构成。本文对两个摄像机的摆放位置不做特别要求。图3表示的是两个摄像头位置任意放置时的双目成像原理。
设左摄像机O-xyz位于世界坐标系的原点处且无旋转，图像坐标系为Ol-xlylzl，有效焦距为fl；右摄像机坐标系为O-xryrzr，图像坐标系为
Or-xryrzr，有效焦距为fr，由摄像机透视变换模型由
（3）
而O-xyz坐标系与Or-xryrzr坐标系之间的相互位置关系可通过空间转换矩阵Mlr表示为：
（4）
其中R，T分别为坐标系O-xyz与坐标系Or-xryrzr之间的旋转矩阵和原点之间的平移变换矢量。由式（3）~（4）可知，对于坐标系O-xyz中
的空间点，两摄像机图像平面点之间的对应关系为：
（5）
于是，空间点三维坐标可以表示为：
（6）
因此，已知焦距fl、fr和空间点在作左右摄像机中的图像坐标，只要求出旋转矩阵R和平移向量T就可以得到被测物体点的三维空间坐标。
3 实验及分析
在实际应用中，一些立体视觉系统的摄像机之间保持着平行关系，而本文所研究的是一般性的双目立体视觉系统。本文采用张正友的棋
盘标定法计算摄像机内参和外参，这种方法种定标模板简单易做，而且标定过程只需将平面模板按任意角度在摄像机前放置即可，易于实
施。Harris角点检测是一种比较成熟的角点检测算法，本文利用它为SIFT立体匹配算法提供候选匹配点对，如图4所示，这样避免SIFT算法
陷入局部最优，形成过多的错误匹配特征点对，导致测距精度的下降，如图5所示。
由于已知两个摄像头的内外参矩阵，因此根据公式（6），可以求出各特征点所对应的三维坐标。本文基于OpenCV结合VS2005编程实
现了整个算法，并通过卷尺多次测量世界坐标系O点与目标物的实际距离，并对比给出三维测距误差，如表1所示。
由表1中的数据可以得出，三维重建的结果与实际距离有一定的误差，经分析可知，造成测距误差的因素有以下几点：①摄像机标定误
差：摄像机的标定过程实际上是利用摄像机的理想几何模型，通过多组已知的三维空间点坐标与其对应的二维图像点坐标，求解出摄像机
模型的内外参数。考虑到摄像机光学系统的设计与加工误差的存在，由摄像头获取的图像存在径向畸变和切向畸变，即是考虑到二者的因
素，但相应的补偿系数的取值不能做到十分准确。而且，本文选择第一幅标定图像的外参矩阵为系统的外参数矩阵，计算过程中由于外参
数的不精确性，必然会造成计算误差。以上所述的因素造成了摄像机标定结果的误差存在。②特征点的提取与匹配误差：本文实验中所使
用的左右摄像机为普通的网络摄像头，图像的采集质量受光线、遮蔽等因素的影响比较大；特征点提取、匹配点对的判断算法中，特征点
提取及匹配点判定时阈值的选择没有一定的标准，针对不同的场景或光照条件，阈值无法自适应；以上因素均会引起误差。③测量误差：
由于实验条件所限，本实验采用卷尺进行多次测量来确定目标物到世界坐标系O点的距离，在确定坐标系O点和读取距离值时会出现不可避
免的误差。
4 结论
本文基于消费级的双网络摄像头，在一般位置进行基于立体视觉的空间位置测距。为了减少错误匹配点对的个数，先采用Harris角点检
测法对两幅图像进行角点检测，检测出的角点作为候选特征点，使得SIFT立体匹配算法更加精确，从而进一步提高了测距的精度。
参考文献：
[1]隋婧，金伟其.双目立体视觉技术的实现及其进展[J].电子技术应用，2004,(10).
[2]白明，庄严，王伟.双目立体匹配算法的研究与进展[J].控制与决策，2008,(7).
[3]崔开涌，王任杰，林小玲.机器人双目视觉系统的算法研究与实现[J].计算机工程，2008,(3).
[4]张文明，刘彬，李海滨.基于双目视觉的三维重建中特征点提取及匹配算法的研究[J].光学技术，2008,(2).
[5]邓志东，牛建军，张竞丹.基于立体视觉的三维建模方法[J].系统仿真学报，2007,(14).
作者简介：柳有权（1976-），男，湖北秭归人，博士，副教授，主要研究方向为虚拟现实技术。
2024年4月28日发(作者：完慧晨)
一般位置上的双摄像头立体视觉测距
发表时间：2011-04-07T17:06:19.440Z 来源：《价值工程》2011年第3月上旬 作者： 柳有权 丁炳源
[导读] 本文基于一般位置上的双普通摄像头通过立体视觉的方法进行测距研究。
柳有权 Liu Youquan；丁炳源 Ding Bingyuan
（长安大学信息工程学院，西安 710064）
（School of Information Engineering，Chang'an University，Xi'an 710064，China）
摘要： 本文基于一般位置上的双普通摄像头通过立体视觉的方法进行测距研究。为了减少错误匹配点对的个数，先采用Harris角点检测
法对双摄像头捕获的两幅图像进行角点检测，然后将检测出的角点作为候选特征点，结合SIFT立体匹配算法实现对应点的匹配，从而进一
步进行测距，该方法提高了测距的精度。
Abstract: With two webcams in general positions, the distance is measured based on stereo vision technology. To avoid too many
wrong matching points, Harris corner detection algorithm is used firstly, providing candidate matching points for SIFT algorithm. In such a
way the accuracy of the distance measurement is improved obviously.
关键词： 立体视觉；双摄像头；SIFT；Harris角点检测；测距
Key words: Stereo vision；double webcams；SIFT；Harris corner detection；distance measurement
中图分类号：TP34 文献标识码：A 文章编号：1006-4311（2011）07-0146-02
0 引言
双目立体视觉测距利用视差原理，处理不同视角下获取的对同一场景的两幅图像，从而恢复出物体的三维几何信息，并测得空间距离。
在双目立体视觉中，摄像机标定和立体匹配是最关键技术，所以当今双目立体视觉的理论研究，集中在摄像机标定方法和立体匹配算法的
研究[1-5]。摄像机标定用于获取摄像机的内外参数，立体匹配是寻找对应图像中的共轭像点。
1 图像坐标系、摄像机坐标系和世界坐标系
如图1所示，图像每一个像素的坐标（u,v）只表示像素位于数组中的列数与行数，因此，需要建立以物理单位（如毫米）表示的图像坐
标系，该坐标系以图像内某一点O1为原点，X轴与Y轴分别与u、v轴平行，如图1所示。其中（u，v）表示以像素为单位的图像坐标系的坐
标，（X，Y）表示以毫米为单位的图像坐标系的坐标。在O1XY坐标系中，原点O1定义在摄像机光轴与图像平面的交点，该点一般位于图
像中心处，但由于某些原因，也会有些偏离，若O1在uv坐标系中坐标为（u0，v0），每一个像素在X轴与Y轴方向上的物理尺寸为dX、
dY，则图像中任意一个像素在两个坐标系下的坐标有如下关系（1）
基于针孔相机假设，摄像机成像几何关系可由图2所示。其中O点称为摄像机光心，x轴和y轴与图像的X轴与Y轴平行，z轴为摄像机光
轴，它与图像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，由点O与x、y、z轴组成的直角坐标系称为摄像机坐标系。OO1
为摄像机焦距。
由于摄像机可安装在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标
系称为世界坐标系。它由XW、YW、ZW轴组成。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述。因此，空
间上某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别是XW=（XW，YW，ZW，1）T与x=（x，y，z，1）T，于是存在如下关
系：（2）
其中，R为3×3正交单位矩阵；t为三维平移向量；0=（0，0，0）T；M2为4×4矩阵。
2 双目立体视觉系统的测量原理
双目立体视觉测量利用三角法原理获取三维信息。两个摄像机的图像平面同被测物体之间构成一个三角形。已知两摄像机之间的位置关
系，便可以获取两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。双目立体视觉系统一般由两个摄像机或者由一个运动
的摄像机构成。本文对两个摄像机的摆放位置不做特别要求。图3表示的是两个摄像头位置任意放置时的双目成像原理。
设左摄像机O-xyz位于世界坐标系的原点处且无旋转，图像坐标系为Ol-xlylzl，有效焦距为fl；右摄像机坐标系为O-xryrzr，图像坐标系为
Or-xryrzr，有效焦距为fr，由摄像机透视变换模型由
（3）
而O-xyz坐标系与Or-xryrzr坐标系之间的相互位置关系可通过空间转换矩阵Mlr表示为：
（4）
其中R，T分别为坐标系O-xyz与坐标系Or-xryrzr之间的旋转矩阵和原点之间的平移变换矢量。由式（3）~（4）可知，对于坐标系O-xyz中
的空间点，两摄像机图像平面点之间的对应关系为：
（5）
于是，空间点三维坐标可以表示为：
（6）
因此，已知焦距fl、fr和空间点在作左右摄像机中的图像坐标，只要求出旋转矩阵R和平移向量T就可以得到被测物体点的三维空间坐标。
3 实验及分析
在实际应用中，一些立体视觉系统的摄像机之间保持着平行关系，而本文所研究的是一般性的双目立体视觉系统。本文采用张正友的棋
盘标定法计算摄像机内参和外参，这种方法种定标模板简单易做，而且标定过程只需将平面模板按任意角度在摄像机前放置即可，易于实
施。Harris角点检测是一种比较成熟的角点检测算法，本文利用它为SIFT立体匹配算法提供候选匹配点对，如图4所示，这样避免SIFT算法
陷入局部最优，形成过多的错误匹配特征点对，导致测距精度的下降，如图5所示。
由于已知两个摄像头的内外参矩阵，因此根据公式（6），可以求出各特征点所对应的三维坐标。本文基于OpenCV结合VS2005编程实
现了整个算法，并通过卷尺多次测量世界坐标系O点与目标物的实际距离，并对比给出三维测距误差，如表1所示。
由表1中的数据可以得出，三维重建的结果与实际距离有一定的误差，经分析可知，造成测距误差的因素有以下几点：①摄像机标定误
差：摄像机的标定过程实际上是利用摄像机的理想几何模型，通过多组已知的三维空间点坐标与其对应的二维图像点坐标，求解出摄像机
模型的内外参数。考虑到摄像机光学系统的设计与加工误差的存在，由摄像头获取的图像存在径向畸变和切向畸变，即是考虑到二者的因
素，但相应的补偿系数的取值不能做到十分准确。而且，本文选择第一幅标定图像的外参矩阵为系统的外参数矩阵，计算过程中由于外参
数的不精确性，必然会造成计算误差。以上所述的因素造成了摄像机标定结果的误差存在。②特征点的提取与匹配误差：本文实验中所使
用的左右摄像机为普通的网络摄像头，图像的采集质量受光线、遮蔽等因素的影响比较大；特征点提取、匹配点对的判断算法中，特征点
提取及匹配点判定时阈值的选择没有一定的标准，针对不同的场景或光照条件，阈值无法自适应；以上因素均会引起误差。③测量误差：
由于实验条件所限，本实验采用卷尺进行多次测量来确定目标物到世界坐标系O点的距离，在确定坐标系O点和读取距离值时会出现不可避
免的误差。
4 结论
本文基于消费级的双网络摄像头，在一般位置进行基于立体视觉的空间位置测距。为了减少错误匹配点对的个数，先采用Harris角点检
测法对两幅图像进行角点检测，检测出的角点作为候选特征点，使得SIFT立体匹配算法更加精确，从而进一步提高了测距的精度。
参考文献：
[1]隋婧，金伟其.双目立体视觉技术的实现及其进展[J].电子技术应用，2004,(10).
[2]白明，庄严，王伟.双目立体匹配算法的研究与进展[J].控制与决策，2008,(7).
[3]崔开涌，王任杰，林小玲.机器人双目视觉系统的算法研究与实现[J].计算机工程，2008,(3).
[4]张文明，刘彬，李海滨.基于双目视觉的三维重建中特征点提取及匹配算法的研究[J].光学技术，2008,(2).
[5]邓志东，牛建军，张竞丹.基于立体视觉的三维建模方法[J].系统仿真学报，2007,(14).
作者简介：柳有权（1976-），男，湖北秭归人，博士，副教授，主要研究方向为虚拟现实技术。