2024年3月8日发(作者：蔺冬梅)
Comprehensive Perception
DOI：10.16667/.2095-1302.2022.08.003车载双目相机与惯性导航融合下的道路信息采集杜 毅1，杨国仁2（1.长安大学 电子与控制工程学院，陕西 西安 710000；2.浙江浩鑫工程技术有限公司，浙江 杭州 310000）为了准确快速的收集道路信息，提出了利用车载深度相机和惯性导航的信息采集方法。车辆在道路上摘 要：行驶，每行驶一段距离则拍摄一张道路照片，获取图片的同时深度相机也会采集图片里每个像素的深度信息，惯性导航给出拍摄时车辆的方位角和经纬度，以车辆为起点利用公式反推所需目标像素点的经纬度坐标，从而实现对目标的定位。实验结果表明，当每20 m拍一次照片时，对平缓行驶时拍摄的车道线的定位精度小于1 m。与使用激光雷达进行定位相比优势明显，设备价格低廉易普及、数据更新速度快。该方法对于国内的道路管理和维护有着重要的作用。双目相机；惯性导航；传感器融合；无人机影像；道路管理与维护；目标定位关键词：TP39 A 2095-1302（2022）08-0010-03中图分类号：文献标识码：文章编号：0 引 言双目视觉技术起源于国外，美国麻省理工学院的Marr首先应用了双目匹配，奠定了双目视觉理论发展的基础[1]。至20世纪70年代中期，Marr、Barrow以及Tenenbaum等人提出了双目视觉的成套理论体系[2]，该理论的核心是利用数字图像进行物体的三维重构。立体视觉匹配是立体视觉研究的核心问题，不同的工程领域应采用合适的立体匹配
方法[3]。国内对于双目视觉技术也有许多应用与研究。大部分团队都将双目视觉技术应用在了目标追踪和检测领域。张竞艺将目标追踪和双目立体视觉相结合，实现对运动目标的实时测距[4]。郭胜杰把计算机视觉技术与渡槽裂缝检测相结合，实现了裂缝的测距、三维定位和尺度测量[5]。同时，双目视觉技术也能应用在道路环境检测和三维重建领域。陈昆提出了一种基于双目视觉和激光雷达的道路环境感知方法[6]。颜亚雄提出了一种基于双目视觉的道路SLAM算法，重点研究图像特征匹配和场景重建的改进算法[7]。卢亚兵通过对双目图像进行特征提取及匹配实现了实时定位，并围绕特征提取、特征匹配优化、回环检测等环节进行了改进及论证分析[8]。在道路设施的管理与维护领域，国内一些研究团队提出了一些想法。朱吉认为公路养护管理信息系统的应用很好地解决了查询、统计、归档的问题，同时利用智能化的设备，通过信息化手段，可对日常养护作业实现全过程监管。伍朝辉、李青、朱琳等学者提出将BIM（Building Information
Modeling, BIM）技术应用到道路设施维护领域[10]，并且国收稿日期：修回日期：2021-09-13 2021-10-2110物联网技术
2022年 /
第8期
[9]内多个城市已经开始公路试点。本文提出了以双目视觉技术为基础的道路信息采集系统。相比上述研究，本项目利用双目相机的图片和惯性导航采集的经纬度、方向角，通过公式计算出目标的矢量信息，对道路设施的管理和维护领域有较大作用。本设备成本低且安装便捷。激光雷达技术与双目视觉技术相比虽然更为精确，但在道路设施的日常维护中不需要这么高的精度，本方法的精度完全足够，而且激光雷达设备昂贵，完整的一套设备和软件需要几十万甚至几百万的投入。同时，激光雷达存在数据更新问题，激光雷达的数据体量庞大，数据处理、更新费用昂贵，不适合道路设施管理与维护的应用场景，也不适合道路情况变化较快的城市道路。双目视觉技术和惯性导航的结合可以改变道路设施管理与维护领域的传统模式，甚至在数据处理平台搭建起来后，GPS定位精度足够的情况下，可以在出租车、公交车上安装双目视觉相机，将图像数据直接传输到平台的数据库统一管理，管理人员可以直接在平台上根据自己的需求处理某一个区域、某一段路程的数据，然后查看处理后的数据结果，是否存在道路设施损坏、偏移等情况。1 数据采集1.1 采集设备移动道路信息采集车的结构如图1所示，由载体平台、双目相机、惯性导航、采集处理软件、电源构成。保护、固定相机和惯性导航，具有稳定（1）载体平台：支撑作用；采集照片数据以及照片中的深度信息；（2）双目相机：
Comprehensive Perception采集车辆的经纬度、方向角；（3）惯性导航：对采集的信息进行处理、存储，及（4）采集处理软件：对设备进行监控；为各分支部分供电，保证硬件正常运行。（5）电源：
v1），（u2,
v2）。左相机的焦距为fx，右相机的焦距为fy，左相机到右相机两者基线的距离为B。图1 采集车系统结构1.2 采集流程采集流程如图2所示，在对设备进行架设、检测、安装、调试之后进行数据采集，采集结束后关闭设备。图3 双目视觉原理通过公式（1）和公式（2）的计算，获得物体在相机坐标系下的横向距离和纵向距离，即Z和X。其中，相机焦距为f、左右相机基线距离B均可通过先验信息或相机标定得到，核心问题为视差，即u1-u2。Zp=Xp=图2 采集流程B⋅f
（1）u1−u2B⋅u1
（2）u1−u22.2 定位原理已知一点经度、纬度和到另一点的距离和航向，根据公式（3）、公式（4）可以计算出另一点的经度、纬度。采集数据之前观察天气情况，尽量选择晴天或阴天，避免采集的信息误差较大。然后进行设备的检查与安装，设置采集设备的参数。参数设置完毕后，开启惯性导航以及采集处理软件，车辆停在原地，观察经纬度信息直至经纬度信息稳定之后车辆开始行驶，且行驶过程中尽量在一条车道上保持匀速行驶，避免换道、急转弯等影响采集数据精度的行为。行驶结束后，保持车辆停止直至经纬度信息稳定之后，关闭相机、惯性导航，卸载仪器设备。ϕ2=sin−1(sinϕ1⋅cosδ+cosϕ1⋅sinδ⋅cosθ)
（3）λ2=λ1+atan2(sinθ⋅⋅sinδcosϕ1,cosδ−sinϕ1⋅sinϕ2)
（4）δ=d
（5）R式中：λ为经度；φ为纬度；θ为方位角（从北沿顺时针方向旋转），由惯性导航系统收集并传入电脑；δ为角距离；d为目标之间的距离，由双目相机的Zp、Xp计算而得；R为地球半径；λ1为拍照时车辆的经度；φ1为拍照时车辆的纬度。2 目标定位原理2.1 双目视觉原理双目相机采取的深度信息涉及世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换。双目视觉原理如图3所示。图3中，世界坐标系为OW-XW
YW
ZW，作为参考坐标系，其描述相机和其他物体的实际位置关系；左相机的相机坐标系为Ol-Xl
Yl
Zl，右相机的相机坐标系为Or-Xr
Yr
Zr，其中相机坐标系的原点为相机光心。左相机的图像坐标系为o1-x1
y1，右相机的图像坐标系为o2-x2
y2，其中图像坐标系的原点为图像中心点。P作为世界坐标系下的目标点，被拍摄到图像后的像点分别是P1，P2。像点在图像坐标系下的坐标分别是（x1,
y1），（x2,
y2），像点在像素坐标系下的坐标分别是（u1,
3 实验与结果分析本次实验路段选自西安市长安区航天大道部分区域，手动选取照片中车道线的部分点，获取信息计算经纬度，空间坐标系为WGS-84坐标系，之后与无人机获取的影像进行对比，计算误差。结果表明，定位误差约1 m。部分车道线点定位误差见表1所列。（X1,
Y1）代表车道线的点，Ax+By+C=0表示车道线的部分表达式。距离计算公式可表示为：E=A⋅+X1B⋅+Y1CA2+B2
（6）112022年 /
第8期
物联网技术
Comprehensive Perception
图片编号78957896789717897表1 部分车道线点定位误差经 度108.958535822108.95853469108.958385364108.958234625108.958232748108.958231725108.958036244108.958034826108.958033842108.958032193纬 度34.4.4.4.4.4.4.4.4.4.1735098736误 差1.1.238933790030.4963359367480.30.2268255147680.2.60.30.10.54 结 语本文基于双目相机和惯性导航融合下的定位方法在每隔20 m进行拍摄的照片中，车道线的平均误差约1 m。本系统是处理时间短、采集设备价格低廉、数据处理过程快捷的采集系统，对于以后的智能化交通有着非常重要的作用。本研究仅考虑了两条车道线的定位，后续将融入深度网络的目标检测，形成一体化的道路信息采集、处理系统。参考文献[1] MARR D. The computation of lightness by the primate retina [J].
Vision research，1974，14（12）.
[2]BLEHMC，SEEMA VISHNU F，KHATTAK A，et al. Computer
vision syndrome： A Review [J]. Survey of ophthalmology，2005，50（3）：253-262.[3]CHENJ，WAIL M，ABU S，et al. Applying dithering to improve
depth measurement using a sensor-shifted stereo camera [J].
Metrology and measurement systems，2010，17（3）：335-347.[4]张竞艺.基于双目视觉的运动目标实时追踪与测距[D].南京：南京邮电大学，2020.[5]郭胜杰.基于双目视觉的裂缝信息测距与定位技术研究[D].邯郸：河北工程大学，2020.[6]陈昆.基于双目视觉和激光雷达融合的道路环境感知技术[D].杭州：浙江大学，2020.[7]颜亚雄.基于双目视觉的道路SLAM技术研究[D].南京：东南大学，2019.[8]卢亚兵.基于双目视觉的实时定位与建图方法研究[D].哈尔滨：哈尔滨工业大学，2018.[9]朱吉.公路养护管理信息系统在公路养护管理中的应用[J].上海公路，2021，40（1）：5-10.[10]伍朝辉，李青，朱琳，等.BIM在道路设施养护中的应用需求与创新[J].交通运输研究，2020，6（3）：116-128.车道线定位点与处理后的无人机影像中的车道线进行比较，效果如图4所示。图4 无人机影像实验表明，平缓行驶状态下采集的道路信息比较准确，但一旦出现换道、超车等驾驶行为就会使得定位误差增大。（上接第9页）控制，并将数据进行可视化处理，实现最适宜环境的调节控制，以满足食用菌种植智能化、现代化的需求，提高农业大棚的管理水平和生产效率。该系统可扩展性强，也适用于其他农业大棚，具有较强的参考价值。参考文献能测控系统的设计[J].天津农学院学报，2018，25（3）：84-86.[5]张瑞.基于ZigBee的人体健康监测系统设计[D].曲阜：曲阜师范大学，2014.[6]宋卫东，王明友，肖宏儒，等.基于物联网技术的食用菌生产智能化测控系统[J].中国农机化，2012，56（4）：142-144.[7]龙祖连.基于ZigBee智慧农业控制系统的研究与设计[J].物联网技术，2021，11（5）：106-108.[8]刘飞飞，徐隆姬，马礼然.基于ZigBee的分布式农业环境监测系统设计[J].传感器与微系统，2021，40（3）：90-92.[9]赵荣阳，王斌，姜重然，等.基于物联网的农业大棚生产环境监控系统设计[J].农机化研究，2021，43（11）：131-137.[10]张萍，胡应坤.基于ZigBee和OneNET云平台的智能农业温控系统[J].物联网技术，2021，11（1）：25-28.[1]袁剑锋，郑淏.基于物联网技术的食用菌生长监控系统关键技术研究[J].软件，2020，41（8）：31-33.[2]陡益帆，钟运佳，王战备.一种食用菌大棚环境参数测控系统设计[J].电子制作，2019，26（7）：23-26.[3]韩奕昕.基于物联网的食用菌智慧农业系统设计与实现[D].石家庄：河北科技大学，2019.[4]赵新海，张英亮，李颖，等.基于Android的食用菌设施栽培智12物联网技术
2022年 /
第8期
2024年3月8日发(作者：蔺冬梅)
Comprehensive Perception
DOI：10.16667/.2095-1302.2022.08.003车载双目相机与惯性导航融合下的道路信息采集杜 毅1，杨国仁2（1.长安大学 电子与控制工程学院，陕西 西安 710000；2.浙江浩鑫工程技术有限公司，浙江 杭州 310000）为了准确快速的收集道路信息，提出了利用车载深度相机和惯性导航的信息采集方法。车辆在道路上摘 要：行驶，每行驶一段距离则拍摄一张道路照片，获取图片的同时深度相机也会采集图片里每个像素的深度信息，惯性导航给出拍摄时车辆的方位角和经纬度，以车辆为起点利用公式反推所需目标像素点的经纬度坐标，从而实现对目标的定位。实验结果表明，当每20 m拍一次照片时，对平缓行驶时拍摄的车道线的定位精度小于1 m。与使用激光雷达进行定位相比优势明显，设备价格低廉易普及、数据更新速度快。该方法对于国内的道路管理和维护有着重要的作用。双目相机；惯性导航；传感器融合；无人机影像；道路管理与维护；目标定位关键词：TP39 A 2095-1302（2022）08-0010-03中图分类号：文献标识码：文章编号：0 引 言双目视觉技术起源于国外，美国麻省理工学院的Marr首先应用了双目匹配，奠定了双目视觉理论发展的基础[1]。至20世纪70年代中期，Marr、Barrow以及Tenenbaum等人提出了双目视觉的成套理论体系[2]，该理论的核心是利用数字图像进行物体的三维重构。立体视觉匹配是立体视觉研究的核心问题，不同的工程领域应采用合适的立体匹配
方法[3]。国内对于双目视觉技术也有许多应用与研究。大部分团队都将双目视觉技术应用在了目标追踪和检测领域。张竞艺将目标追踪和双目立体视觉相结合，实现对运动目标的实时测距[4]。郭胜杰把计算机视觉技术与渡槽裂缝检测相结合，实现了裂缝的测距、三维定位和尺度测量[5]。同时，双目视觉技术也能应用在道路环境检测和三维重建领域。陈昆提出了一种基于双目视觉和激光雷达的道路环境感知方法[6]。颜亚雄提出了一种基于双目视觉的道路SLAM算法，重点研究图像特征匹配和场景重建的改进算法[7]。卢亚兵通过对双目图像进行特征提取及匹配实现了实时定位，并围绕特征提取、特征匹配优化、回环检测等环节进行了改进及论证分析[8]。在道路设施的管理与维护领域，国内一些研究团队提出了一些想法。朱吉认为公路养护管理信息系统的应用很好地解决了查询、统计、归档的问题，同时利用智能化的设备，通过信息化手段，可对日常养护作业实现全过程监管。伍朝辉、李青、朱琳等学者提出将BIM（Building Information
Modeling, BIM）技术应用到道路设施维护领域[10]，并且国收稿日期：修回日期：2021-09-13 2021-10-2110物联网技术
2022年 /
第8期
[9]内多个城市已经开始公路试点。本文提出了以双目视觉技术为基础的道路信息采集系统。相比上述研究，本项目利用双目相机的图片和惯性导航采集的经纬度、方向角，通过公式计算出目标的矢量信息，对道路设施的管理和维护领域有较大作用。本设备成本低且安装便捷。激光雷达技术与双目视觉技术相比虽然更为精确，但在道路设施的日常维护中不需要这么高的精度，本方法的精度完全足够，而且激光雷达设备昂贵，完整的一套设备和软件需要几十万甚至几百万的投入。同时，激光雷达存在数据更新问题，激光雷达的数据体量庞大，数据处理、更新费用昂贵，不适合道路设施管理与维护的应用场景，也不适合道路情况变化较快的城市道路。双目视觉技术和惯性导航的结合可以改变道路设施管理与维护领域的传统模式，甚至在数据处理平台搭建起来后，GPS定位精度足够的情况下，可以在出租车、公交车上安装双目视觉相机，将图像数据直接传输到平台的数据库统一管理，管理人员可以直接在平台上根据自己的需求处理某一个区域、某一段路程的数据，然后查看处理后的数据结果，是否存在道路设施损坏、偏移等情况。1 数据采集1.1 采集设备移动道路信息采集车的结构如图1所示，由载体平台、双目相机、惯性导航、采集处理软件、电源构成。保护、固定相机和惯性导航，具有稳定（1）载体平台：支撑作用；采集照片数据以及照片中的深度信息；（2）双目相机：
Comprehensive Perception采集车辆的经纬度、方向角；（3）惯性导航：对采集的信息进行处理、存储，及（4）采集处理软件：对设备进行监控；为各分支部分供电，保证硬件正常运行。（5）电源：
v1），（u2,
v2）。左相机的焦距为fx，右相机的焦距为fy，左相机到右相机两者基线的距离为B。图1 采集车系统结构1.2 采集流程采集流程如图2所示，在对设备进行架设、检测、安装、调试之后进行数据采集，采集结束后关闭设备。图3 双目视觉原理通过公式（1）和公式（2）的计算，获得物体在相机坐标系下的横向距离和纵向距离，即Z和X。其中，相机焦距为f、左右相机基线距离B均可通过先验信息或相机标定得到，核心问题为视差，即u1-u2。Zp=Xp=图2 采集流程B⋅f
（1）u1−u2B⋅u1
（2）u1−u22.2 定位原理已知一点经度、纬度和到另一点的距离和航向，根据公式（3）、公式（4）可以计算出另一点的经度、纬度。采集数据之前观察天气情况，尽量选择晴天或阴天，避免采集的信息误差较大。然后进行设备的检查与安装，设置采集设备的参数。参数设置完毕后，开启惯性导航以及采集处理软件，车辆停在原地，观察经纬度信息直至经纬度信息稳定之后车辆开始行驶，且行驶过程中尽量在一条车道上保持匀速行驶，避免换道、急转弯等影响采集数据精度的行为。行驶结束后，保持车辆停止直至经纬度信息稳定之后，关闭相机、惯性导航，卸载仪器设备。ϕ2=sin−1(sinϕ1⋅cosδ+cosϕ1⋅sinδ⋅cosθ)
（3）λ2=λ1+atan2(sinθ⋅⋅sinδcosϕ1,cosδ−sinϕ1⋅sinϕ2)
（4）δ=d
（5）R式中：λ为经度；φ为纬度；θ为方位角（从北沿顺时针方向旋转），由惯性导航系统收集并传入电脑；δ为角距离；d为目标之间的距离，由双目相机的Zp、Xp计算而得；R为地球半径；λ1为拍照时车辆的经度；φ1为拍照时车辆的纬度。2 目标定位原理2.1 双目视觉原理双目相机采取的深度信息涉及世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换。双目视觉原理如图3所示。图3中，世界坐标系为OW-XW
YW
ZW，作为参考坐标系，其描述相机和其他物体的实际位置关系；左相机的相机坐标系为Ol-Xl
Yl
Zl，右相机的相机坐标系为Or-Xr
Yr
Zr，其中相机坐标系的原点为相机光心。左相机的图像坐标系为o1-x1
y1，右相机的图像坐标系为o2-x2
y2，其中图像坐标系的原点为图像中心点。P作为世界坐标系下的目标点，被拍摄到图像后的像点分别是P1，P2。像点在图像坐标系下的坐标分别是（x1,
y1），（x2,
y2），像点在像素坐标系下的坐标分别是（u1,
3 实验与结果分析本次实验路段选自西安市长安区航天大道部分区域，手动选取照片中车道线的部分点，获取信息计算经纬度，空间坐标系为WGS-84坐标系，之后与无人机获取的影像进行对比，计算误差。结果表明，定位误差约1 m。部分车道线点定位误差见表1所列。（X1,
Y1）代表车道线的点，Ax+By+C=0表示车道线的部分表达式。距离计算公式可表示为：E=A⋅+X1B⋅+Y1CA2+B2
（6）112022年 /
第8期
物联网技术
Comprehensive Perception
图片编号78957896789717897表1 部分车道线点定位误差经 度108.958535822108.95853469108.958385364108.958234625108.958232748108.958231725108.958036244108.958034826108.958033842108.958032193纬 度34.4.4.4.4.4.4.4.4.4.1735098736误 差1.1.238933790030.4963359367480.30.2268255147680.2.60.30.10.54 结 语本文基于双目相机和惯性导航融合下的定位方法在每隔20 m进行拍摄的照片中，车道线的平均误差约1 m。本系统是处理时间短、采集设备价格低廉、数据处理过程快捷的采集系统，对于以后的智能化交通有着非常重要的作用。本研究仅考虑了两条车道线的定位，后续将融入深度网络的目标检测，形成一体化的道路信息采集、处理系统。参考文献[1] MARR D. The computation of lightness by the primate retina [J].
Vision research，1974，14（12）.
[2]BLEHMC，SEEMA VISHNU F，KHATTAK A，et al. Computer
vision syndrome： A Review [J]. Survey of ophthalmology，2005，50（3）：253-262.[3]CHENJ，WAIL M，ABU S，et al. Applying dithering to improve
depth measurement using a sensor-shifted stereo camera [J].
Metrology and measurement systems，2010，17（3）：335-347.[4]张竞艺.基于双目视觉的运动目标实时追踪与测距[D].南京：南京邮电大学，2020.[5]郭胜杰.基于双目视觉的裂缝信息测距与定位技术研究[D].邯郸：河北工程大学，2020.[6]陈昆.基于双目视觉和激光雷达融合的道路环境感知技术[D].杭州：浙江大学，2020.[7]颜亚雄.基于双目视觉的道路SLAM技术研究[D].南京：东南大学，2019.[8]卢亚兵.基于双目视觉的实时定位与建图方法研究[D].哈尔滨：哈尔滨工业大学，2018.[9]朱吉.公路养护管理信息系统在公路养护管理中的应用[J].上海公路，2021，40（1）：5-10.[10]伍朝辉，李青，朱琳，等.BIM在道路设施养护中的应用需求与创新[J].交通运输研究，2020，6（3）：116-128.车道线定位点与处理后的无人机影像中的车道线进行比较，效果如图4所示。图4 无人机影像实验表明，平缓行驶状态下采集的道路信息比较准确，但一旦出现换道、超车等驾驶行为就会使得定位误差增大。（上接第9页）控制，并将数据进行可视化处理，实现最适宜环境的调节控制，以满足食用菌种植智能化、现代化的需求，提高农业大棚的管理水平和生产效率。该系统可扩展性强，也适用于其他农业大棚，具有较强的参考价值。参考文献能测控系统的设计[J].天津农学院学报，2018，25（3）：84-86.[5]张瑞.基于ZigBee的人体健康监测系统设计[D].曲阜：曲阜师范大学，2014.[6]宋卫东，王明友，肖宏儒，等.基于物联网技术的食用菌生产智能化测控系统[J].中国农机化，2012，56（4）：142-144.[7]龙祖连.基于ZigBee智慧农业控制系统的研究与设计[J].物联网技术，2021，11（5）：106-108.[8]刘飞飞，徐隆姬，马礼然.基于ZigBee的分布式农业环境监测系统设计[J].传感器与微系统，2021，40（3）：90-92.[9]赵荣阳，王斌，姜重然，等.基于物联网的农业大棚生产环境监控系统设计[J].农机化研究，2021，43（11）：131-137.[10]张萍，胡应坤.基于ZigBee和OneNET云平台的智能农业温控系统[J].物联网技术，2021，11（1）：25-28.[1]袁剑锋，郑淏.基于物联网技术的食用菌生长监控系统关键技术研究[J].软件，2020，41（8）：31-33.[2]陡益帆，钟运佳，王战备.一种食用菌大棚环境参数测控系统设计[J].电子制作，2019，26（7）：23-26.[3]韩奕昕.基于物联网的食用菌智慧农业系统设计与实现[D].石家庄：河北科技大学，2019.[4]赵新海，张英亮，李颖，等.基于Android的食用菌设施栽培智12物联网技术
2022年 /
第8期