2024年2月12日发(作者：弭今)
自动化与智能化机电工程技术2019年第48卷第03期DOI:10.3969/.1009-9492.2019.03.004基于双目全景视觉的无人机避障技术探究马勋举，张瑞珠，马子领，严大考（华北水利水电大学机械学院，河南郑州450045）*摘要：无人机经常应用于复杂的环境之中，该环境要求无人机具有自动避障功能。在常用的避障技术中机器视觉具有不可替代的作用，而双目全景视觉集中了双目和全景的优势，在无人机避障领域具有广阔的应用前景。详细分析双目视觉技术、全景视觉技术及双目全景视觉技术的结构和原理，并提出基于双目全景视觉的无人机避障技术流程和该技术未来的发展方向。关键词：无人机；双目全景视觉；避障中图分类号：V279+.2文献标识码：A文章编号：1009－9492(2019)03－0016－04ResearchonUAVObstacleAvoidanceTechnologyBasedonBinocularPanoramicVision（NorthChinaUniversityofWaterResourcesandElectricPower，SchoolofMechanicalEngineering，Abstract:Unmannedaerialvehicle(UAV)isoftenusedincomplexenvironment，whichrequiresUAVtohaveautomaticobstacleMAXun-ju，ZHANGRui-zhu，MAZi-ling，YANDa-kaoZhengzhou450045，China）evisionplaysanirreplaceableroleinthecommonlyusedobstacleavoidancetechnology，whilebinocularpanoramicvisionconcentratestheadvantagesofbinocularandpanoramicvisionuctureandprincipleofbinocularvisiontechnology，panoramicvisiontechnologyantechnologywereanalyzedindetail，andthetechnicalprocessofobstacleavoidanceforUAVbasedonbinocularpanoramicvisionKeywords:UAV；binocularpanoramicvision；obstacleavoidance0引言无人飞行器又简称无人机，是指具有自主决策能力的空中机器人系统[1]。按种类，无人机可分为固定翼无人机和旋翼无人机[2]。近年来，随着旋翼无人机技术的快速发展，旋翼无人机在民用领域的应用越来越广泛。在无人机使用过程中，由于周围环境的复杂性和不确定性，无人机炸机、伤人事件时常发生。因此，无人机自动避障技术的研究和使用迫在眉睫。目前，无人机常用的避障技术有超声波测距、红外或激光测距以及视觉测距[3]。超声波技术是最常用的测距技术，但超声波能有效测量的距离较短，且对障碍物反射面有一定要求，常用于测量无人机距地面的距离，不适用于障碍物的测量与避障。红外或激光测距又称为TOF，该技术利用传感器向障碍物发射一定频率的信号，通过计算信号从发射到接收的时间来计算距离，可进行远距离测距，但其信号易受外界干扰，并且对于避障的范围有一定的局*2016年度河南省科技攻关计划（编号：4）收稿日期：2018－12－26限性，不太适用于无人机避障。计算机视觉技术导航方式不受障碍物外观轮廓、外界信号干扰的影响，测量范围广泛，随着计算机硬件技术以及智能算法的快速发展，利用计算机视觉进行避障的反应速度也越来越快。视觉设备重量轻、体积小适合民用旋翼无人机载重较轻的特点。在视觉避障技术中，双目视觉技术应用前景最为广泛。双目视觉技术即运用人眼计算距离的原理，既能够得到障碍物的准确方位又能测得其距无人机的距离，用于无人机避障具有较高的准确性。双目视觉虽然大大增加了测量的范围，但面对复杂的飞行环境，仍具有一定的局限性。全景视觉具有360°全方位视场角的优点[4]。因此，将全景技术和双目视觉相结合，即双目全景视觉技术在无人机避障方面将具有巨大的应用潜力。1双目视觉与全景视觉1.1双目视觉技术及基于该技术的无人机避障双目视觉技术是指运用人眼计算距离的原理，通过放16
马勋举等：基于双目全景视觉的无人机避障技术探究自动化与智能化置于不同位置的两个摄像机同时采集同一物体的图像，采用立体匹配算法，计算目标点所对应的视差，再基于三角测量原理可得到深度信息[5]。双目摄像系统的参考坐标系（平面坐标系Oxy），摄像机坐标系（OcXcYcZc），世界坐标系（OwXwYwZw）。双目视觉的原理如图1所示，P为空间中一点，P1和P2为点P在左右两侧相平面上的成像点，两相机的焦距为f，O1和O2为左右相机的光心，Ia和Ib分别是P1和P2距各自图像左边界的距离，b为左右摄像机光心一般有：像素坐标系（直角坐标系O0uv），成像坐标系（a）双目摄像机左图（b）双目摄像机右图（c）视差图（c）Disparitymap（a）Leftviewofthebinocularcamera（b）Rightviewofthebinocularcamera图3双目视觉系统的视差图Fig.3Parallaxmapofbinocularvisionsystem之间的距离，一般称之为基线。设d表示左右摄像机的视差值，其值可由式（1）求得。根据式（2）可求得点P的深度值Z。1.2全景视觉技术全景视觉系统视场角可达360°，可以获取多方位信息，在智能检测和机器人控制、智能车辆、地理信息获取等方面应用广阔[8-10]。全景视觉系统主要可分为3种：多目全景、折反射式全景、鱼眼镜头全景[11]。1.2.1多目全景视觉多目全景就是由多个镜头组成，将每个镜头采集的图像进行拼接可得全景。如图4所示，为加拿大PointGrey公司推出的一款多目全景相机Ladybug3，该全景系统由6台相机组成，其中5台位于侧面，1台位于顶部[12]。该相机系统具有颜色处理、相机校正、全景拼接等功能，能够拍摄80%以上的球面范围，该系统在机器人导航方面应用广泛。图1双目视觉原理图Fig.1Binocularvisionschematic基于多目的全景视觉的形成关键在于图像拼接算法，常用的算法有基于FFT的图像拼接方法[13]、基于L-M迭代算法的图像拼接方法[14]、不变特征点检测算法等。多目全（1）景系统优点是得到的图像质量较好；缺点是数据量较大，在实时性方面不足，对处理器、控制器等硬件要求较高。d=la-lbZ=bf（2）d双目视觉系统在工作之前首先需要进行摄像机标定，确定双目视觉系统的世界坐标系、摄像机坐标系以及图像坐标系三者之间的关系和各坐标系之间的转换参数[6]。然后是进行双目校正、图像采集及预处理和特征提取与立体匹配，之后将输出视差图信息，基于此信息可以对摄取的环境进行三维重建，最后无人机根据重建信息进行避障。双目视觉避障技术流程如图2所示。双目视觉系统的视差图如图3所示，其中亮度较高的区域为障碍物，可以根据像素点的高度不同从视差图中去除背景像素点，即可得到障碍物像素点[7]。图4多目全景相机Ladybug3图5双曲面折反射式全景成像系统示意图Fig.5Schematicdiagramofahyperboliccata⁃dioptricpanoramicimagingsystemFig.4Multi-viewpanoramiccameraLadybug31.2.2折反射式全景视觉折反射式全景摄像系统一般有一个折反射镜和一个数字摄像机组成，即基于单视点成像条件所构成的全景成像图2双目视觉避障技术流程图系统。常用的折反射镜有3种，分别是双曲面反射镜、抛物面反射镜和椭圆面反射镜[15]。图5为双曲面折反射式全Fig.2flowchartofbinocularvisualobstacleavoidancetechnology17
自动化与智能化机电工程技术2019年第48卷第03期景成像系统示意图[16]，其中F1、F2、D为双曲面反射镜的匹配算法[21]。因此，该方案更适用于无人机的全方位避障。垂直式双目全景系统按结构可以分为同向、面对面和背靠背3种类型。3种类型分别对应以下3种坐标系：柱面坐标系、球坐标系、平面直角坐标系。对与垂直式双目全景系统在系统构建完成之后由于不能保证上下相机光轴完全重合，两相机放置角度也可能不一致，因此需要进行极线校正。基于双目全景视觉的无人机避障技术流程图如图6所示。两个焦点和宽度，H为反射镜边缘距摄像机透视中心的距离，2h为双曲镜两焦点的距离，f为摄像机的焦距。摄像机的透视中心与双曲面反射镜的焦点F2重合，则汇聚于F1的光线经过反射后通过摄像机焦点投射至CCD成像面。其中L为通过反射镜边缘的光线，光线L延长线与Z轴夹角αmax称为全景系统的视场角，在这里为系统的最大视场角。其中L的反射线与Z轴的夹角βmax为摄像机最大视场角。Rmax为L的反射线在CCD上的投影点距CCD成像面中CCD上的有效成像像素。心（点O）的距离，则以O为圆心Rmax为半径的圆即是在XF2Z平面的双曲面镜的双曲线方程为(z-c)a222-x2=1b（3）图6基于双目全景视觉的无人机避障技术流程图basedonbinocularpanoramicvisionFig.6FlowchartofobstacleavoidancetechnologyofUAV其中，a、b为双曲线的参数变量，c=2a2+b2。该参数可根据系统要求设计系统参数D、H、f、及αmax后确定。基于单视点约束的全景成像系统可以保证成像点与实际场景图像一一对应的关系，因此可以根据成像系统的参数对CCD中图像进行逆运算得到正常的平面图像。但基于单视点约束的折反射式全景成像系统对系统的构建要求极为严格，其中许多因素会影响系统精度。1.2.3鱼眼式全景视觉鱼眼式全景系统是指通过鱼眼镜头构成的全景视觉[18][17]目前双目视觉在目标检测方面应用非常广泛，在2016年3月大疆就推出了一款利用双目视觉进行避障的无人机产品——精灵4（图7），后来又升级为精灵4Pro。该款无人机采用3组双目视觉系统，可以实现多方向障碍物检测。系统[19]。鱼眼镜头是一种广角镜头，其焦距一般小于等于16mm，视场角一般大于120°，目前其最大视场角已经超过270°。鱼眼镜头的基本结构为反摄远型物镜结构，即共有两组透镜组成，前组为负透镜，后组为正透镜。鱼眼镜头的结构导致了鱼眼全景系统摄取的图像具有大量的畸变，这种畸变一般为线性畸变和桶形畸变。因此对于利用鱼眼镜头摄取的图像在应用之前需要经过图像畸变矫正。常用的图形畸变矫正方法有标定板法和非标定板法[20]。鱼眼镜头目前技术成熟、成本较低，其大视角的优点使得其在全景摄像方面应用广泛。图7大疆精灵4无人机2双目全景视觉及其在无人机避障方面的应用和发展双目全景视觉应用于无人机避障，弥补了双目视觉视野不足，有利于对运动物体进行捕捉跟踪，可提高无人机避障准确率。双目全景系统根据其结构可分为水平式双目全景系统和垂直式双目全景系统。水平时双目全景系统可以获得较大的环境深度信息，在水平方向上容易出现相互遮挡的问题，导致立体视觉的浪费。垂直式双目全景视觉可避免出现相互遮挡问题，并且可以获取水平方向360°的环境深度信息；另外，该结构还可以使得两幅全景图像的特征点处于同一极线上，这样可简化双目全景图像的特征Fig.7UAVofDJIPhantom4近些年科研人员在双目全景视觉的研究投入逐渐增多，也取得了很多研究成果，但双目全景视觉技术的应用转化并不多，将双目全景技术应用于无人机避障的研究更是少见。双目全景技术在无人机避障方面的应用难点在于双目全景系统的搭建、立体匹配、视差提取以及信息的快速处理。双目全景技术既能准确探测障碍物位置，又可以进行360°全方位探测，因此在无人机避障领域将有广阔的应用前景。基于双目全景视觉的无人机避障技术有以下几个发展方向：（1）双目全景的选型及系统搭建。全景视觉有多种18
马勋举等：基于双目全景视觉的无人机避障技术探究自动化与智能化类型，双目系统也有多种结构，将双目全景技术应用于无人机，其结构要适应无人机的特点。（2）图像特征提取与立体匹配及视差提取。全景视觉往往带有畸变，因此双目全景技术的图像处理算法与普通双目视觉技术略有不同，这方面亟待突破。（3）信息的快速处理及无人机避障路径规划。信息处理速度直接决定无人机避障是否及时，无人机信息获取之后的路径规划也决定着避障是否成功。mentofavirtualrealityGISusingstereovision［J］.（1）：ersandElectronicsinAgriculture，2008，63［11］李盛辉，周俊，姬长英，等.基于全景视觉的智能农业车辆运动障碍目标检测［J］.农业机械学报，［12］曹文君，赵祚喜.Ladybug系列多目全景视觉技术的应用研究［J］.机械与电子，2017，35（12）.［13］ReddyBS，-basedtechniquefortranslation，rotation，andscale-invariantimageregistration［J］.IEEETransactionsonImageProcess⁃ing，1996，8（5）：1266-1271.2002，16（2）：22-30.2013，44（12）：239-244.3结束语通过分析无人机常用避障技术的优缺点，得出机器视觉在人机避障方面具有可以准确获取障碍物位置和轮廓、不受外界信号干扰、所需功率较低等多种优势。双目视觉可以获取图像的景深，全景视觉可以获得周围360°的景象，将二者相结合并应用于无人机避障可以大大提高无人机避障的准确性。双目结构可分为垂直式和水平式，全景视觉分为多目全景、折反射全景和鱼眼全景。最后，提出基于双目全景视觉的无人机避障技术的技术流程图和未来发展方向：双目全景的选型及系统搭建，图像特征提取与立体匹配及视差提取，信息的快速处理及无人机避障路径规划。参考文献：［1］张涛，芦维宁，李一鹏.智能无人机综述［J］.航空制造技术，2013，432（12）：32-35.［2］MahjriI，DhraiefA，wonColli⁃［C］.8thInternationalWorkshoponCommunication［3］刘海波，李冀.浅析无人机自动避障系统［J］.中国计量，2017（09）：84-85.［4］MengL，HirayamaT，ater-dronewithPanoramicCameraforAutomaticFishRecognition［5］周星，高志军.立体视觉技术的应用与发展［J］.图学学报，2010，31（4）：50-55.［6］苏东.基于双目视觉的小型无人飞行器的导航与避障［D］.成都：电子科技大学，2014.［7］王淏，潘峥嵘，朱翔.基于双目视觉的无人机避障之研究［J］.自动化与仪表，2018，33（4）：34-38.［8］AndreassonH，AndréTreptow，-local⁃izationinnon-stationaryenvironmentsusingomni-direc⁃tionalvision［J］.RoboticsandAutonomousSystems，2007，55（7）：nDeepLearning［J］.IEEEAccess，2018：logiesforVehicles，Springer，2015：oidanceSystemsforUnmannedAerialVehicles［14］osaicsforvirtualenvironments［J］.IEEEComputerGraphicsandApplications，［15］张雷.单视点折反射成像系统的建模、标定与应用［D］.杭州：浙江大学，2010.［16］马子领，王建中.折反射全景侦察图像展开和矫正方法［J］.弹箭与制导学报，2010，30（5）：［17］吴自新.全景视觉系统设计与图像处理技术研究［D］.哈尔滨：哈尔滨工程大学，2006.［18］陈凯鑫.基于双目全景视觉的目标定位技术研究［D］.哈尔滨：哈尔滨工程大学，2014.［19］KrishnanG，-FisheyeCameraforPan⁃oramicImaging［C］.2008IEEEWorkshoponAppli⁃［20］靳东亮.全景视觉辅助驾驶系统关键技术研究［D］.锦州：辽宁工业大学，2018.［21］TangYP，WangQ，ZongML，ofVerti⁃callyAlignedBinocularOmnistereoVisionSensor［J］.2010（1）：PJournalonImageandVideoProcessing，，2008：1550-5790.173-176.第一作者简介：马勋举，男，1991年生，河南人，硕士研究生。研究领域：无人机避障技术、外骨骼机器人。已发表论文4篇。(编辑：阮毅)［9］MariottiniGL，ScheggiS，MorbidiF，⁃rateandrobustvisual-compassalgorithmforro⁃bot-mountedomnidirectionalcameras［J］.Robotics&AutonomousSystems，2012，60（9）：1179-1190.［10］LinTT，HsiungYK，HongGL，p⁃19
2024年2月12日发(作者：弭今)
自动化与智能化机电工程技术2019年第48卷第03期DOI:10.3969/.1009-9492.2019.03.004基于双目全景视觉的无人机避障技术探究马勋举，张瑞珠，马子领，严大考（华北水利水电大学机械学院，河南郑州450045）*摘要：无人机经常应用于复杂的环境之中，该环境要求无人机具有自动避障功能。在常用的避障技术中机器视觉具有不可替代的作用，而双目全景视觉集中了双目和全景的优势，在无人机避障领域具有广阔的应用前景。详细分析双目视觉技术、全景视觉技术及双目全景视觉技术的结构和原理，并提出基于双目全景视觉的无人机避障技术流程和该技术未来的发展方向。关键词：无人机；双目全景视觉；避障中图分类号：V279+.2文献标识码：A文章编号：1009－9492(2019)03－0016－04ResearchonUAVObstacleAvoidanceTechnologyBasedonBinocularPanoramicVision（NorthChinaUniversityofWaterResourcesandElectricPower，SchoolofMechanicalEngineering，Abstract:Unmannedaerialvehicle(UAV)isoftenusedincomplexenvironment，whichrequiresUAVtohaveautomaticobstacleMAXun-ju，ZHANGRui-zhu，MAZi-ling，YANDa-kaoZhengzhou450045，China）evisionplaysanirreplaceableroleinthecommonlyusedobstacleavoidancetechnology，whilebinocularpanoramicvisionconcentratestheadvantagesofbinocularandpanoramicvisionuctureandprincipleofbinocularvisiontechnology，panoramicvisiontechnologyantechnologywereanalyzedindetail，andthetechnicalprocessofobstacleavoidanceforUAVbasedonbinocularpanoramicvisionKeywords:UAV；binocularpanoramicvision；obstacleavoidance0引言无人飞行器又简称无人机，是指具有自主决策能力的空中机器人系统[1]。按种类，无人机可分为固定翼无人机和旋翼无人机[2]。近年来，随着旋翼无人机技术的快速发展，旋翼无人机在民用领域的应用越来越广泛。在无人机使用过程中，由于周围环境的复杂性和不确定性，无人机炸机、伤人事件时常发生。因此，无人机自动避障技术的研究和使用迫在眉睫。目前，无人机常用的避障技术有超声波测距、红外或激光测距以及视觉测距[3]。超声波技术是最常用的测距技术，但超声波能有效测量的距离较短，且对障碍物反射面有一定要求，常用于测量无人机距地面的距离，不适用于障碍物的测量与避障。红外或激光测距又称为TOF，该技术利用传感器向障碍物发射一定频率的信号，通过计算信号从发射到接收的时间来计算距离，可进行远距离测距，但其信号易受外界干扰，并且对于避障的范围有一定的局*2016年度河南省科技攻关计划（编号：4）收稿日期：2018－12－26限性，不太适用于无人机避障。计算机视觉技术导航方式不受障碍物外观轮廓、外界信号干扰的影响，测量范围广泛，随着计算机硬件技术以及智能算法的快速发展，利用计算机视觉进行避障的反应速度也越来越快。视觉设备重量轻、体积小适合民用旋翼无人机载重较轻的特点。在视觉避障技术中，双目视觉技术应用前景最为广泛。双目视觉技术即运用人眼计算距离的原理，既能够得到障碍物的准确方位又能测得其距无人机的距离，用于无人机避障具有较高的准确性。双目视觉虽然大大增加了测量的范围，但面对复杂的飞行环境，仍具有一定的局限性。全景视觉具有360°全方位视场角的优点[4]。因此，将全景技术和双目视觉相结合，即双目全景视觉技术在无人机避障方面将具有巨大的应用潜力。1双目视觉与全景视觉1.1双目视觉技术及基于该技术的无人机避障双目视觉技术是指运用人眼计算距离的原理，通过放16
马勋举等：基于双目全景视觉的无人机避障技术探究自动化与智能化置于不同位置的两个摄像机同时采集同一物体的图像，采用立体匹配算法，计算目标点所对应的视差，再基于三角测量原理可得到深度信息[5]。双目摄像系统的参考坐标系（平面坐标系Oxy），摄像机坐标系（OcXcYcZc），世界坐标系（OwXwYwZw）。双目视觉的原理如图1所示，P为空间中一点，P1和P2为点P在左右两侧相平面上的成像点，两相机的焦距为f，O1和O2为左右相机的光心，Ia和Ib分别是P1和P2距各自图像左边界的距离，b为左右摄像机光心一般有：像素坐标系（直角坐标系O0uv），成像坐标系（a）双目摄像机左图（b）双目摄像机右图（c）视差图（c）Disparitymap（a）Leftviewofthebinocularcamera（b）Rightviewofthebinocularcamera图3双目视觉系统的视差图Fig.3Parallaxmapofbinocularvisionsystem之间的距离，一般称之为基线。设d表示左右摄像机的视差值，其值可由式（1）求得。根据式（2）可求得点P的深度值Z。1.2全景视觉技术全景视觉系统视场角可达360°，可以获取多方位信息，在智能检测和机器人控制、智能车辆、地理信息获取等方面应用广阔[8-10]。全景视觉系统主要可分为3种：多目全景、折反射式全景、鱼眼镜头全景[11]。1.2.1多目全景视觉多目全景就是由多个镜头组成，将每个镜头采集的图像进行拼接可得全景。如图4所示，为加拿大PointGrey公司推出的一款多目全景相机Ladybug3，该全景系统由6台相机组成，其中5台位于侧面，1台位于顶部[12]。该相机系统具有颜色处理、相机校正、全景拼接等功能，能够拍摄80%以上的球面范围，该系统在机器人导航方面应用广泛。图1双目视觉原理图Fig.1Binocularvisionschematic基于多目的全景视觉的形成关键在于图像拼接算法，常用的算法有基于FFT的图像拼接方法[13]、基于L-M迭代算法的图像拼接方法[14]、不变特征点检测算法等。多目全（1）景系统优点是得到的图像质量较好；缺点是数据量较大，在实时性方面不足，对处理器、控制器等硬件要求较高。d=la-lbZ=bf（2）d双目视觉系统在工作之前首先需要进行摄像机标定，确定双目视觉系统的世界坐标系、摄像机坐标系以及图像坐标系三者之间的关系和各坐标系之间的转换参数[6]。然后是进行双目校正、图像采集及预处理和特征提取与立体匹配，之后将输出视差图信息，基于此信息可以对摄取的环境进行三维重建，最后无人机根据重建信息进行避障。双目视觉避障技术流程如图2所示。双目视觉系统的视差图如图3所示，其中亮度较高的区域为障碍物，可以根据像素点的高度不同从视差图中去除背景像素点，即可得到障碍物像素点[7]。图4多目全景相机Ladybug3图5双曲面折反射式全景成像系统示意图Fig.5Schematicdiagramofahyperboliccata⁃dioptricpanoramicimagingsystemFig.4Multi-viewpanoramiccameraLadybug31.2.2折反射式全景视觉折反射式全景摄像系统一般有一个折反射镜和一个数字摄像机组成，即基于单视点成像条件所构成的全景成像图2双目视觉避障技术流程图系统。常用的折反射镜有3种，分别是双曲面反射镜、抛物面反射镜和椭圆面反射镜[15]。图5为双曲面折反射式全Fig.2flowchartofbinocularvisualobstacleavoidancetechnology17
自动化与智能化机电工程技术2019年第48卷第03期景成像系统示意图[16]，其中F1、F2、D为双曲面反射镜的匹配算法[21]。因此，该方案更适用于无人机的全方位避障。垂直式双目全景系统按结构可以分为同向、面对面和背靠背3种类型。3种类型分别对应以下3种坐标系：柱面坐标系、球坐标系、平面直角坐标系。对与垂直式双目全景系统在系统构建完成之后由于不能保证上下相机光轴完全重合，两相机放置角度也可能不一致，因此需要进行极线校正。基于双目全景视觉的无人机避障技术流程图如图6所示。两个焦点和宽度，H为反射镜边缘距摄像机透视中心的距离，2h为双曲镜两焦点的距离，f为摄像机的焦距。摄像机的透视中心与双曲面反射镜的焦点F2重合，则汇聚于F1的光线经过反射后通过摄像机焦点投射至CCD成像面。其中L为通过反射镜边缘的光线，光线L延长线与Z轴夹角αmax称为全景系统的视场角，在这里为系统的最大视场角。其中L的反射线与Z轴的夹角βmax为摄像机最大视场角。Rmax为L的反射线在CCD上的投影点距CCD成像面中CCD上的有效成像像素。心（点O）的距离，则以O为圆心Rmax为半径的圆即是在XF2Z平面的双曲面镜的双曲线方程为(z-c)a222-x2=1b（3）图6基于双目全景视觉的无人机避障技术流程图basedonbinocularpanoramicvisionFig.6FlowchartofobstacleavoidancetechnologyofUAV其中，a、b为双曲线的参数变量，c=2a2+b2。该参数可根据系统要求设计系统参数D、H、f、及αmax后确定。基于单视点约束的全景成像系统可以保证成像点与实际场景图像一一对应的关系，因此可以根据成像系统的参数对CCD中图像进行逆运算得到正常的平面图像。但基于单视点约束的折反射式全景成像系统对系统的构建要求极为严格，其中许多因素会影响系统精度。1.2.3鱼眼式全景视觉鱼眼式全景系统是指通过鱼眼镜头构成的全景视觉[18][17]目前双目视觉在目标检测方面应用非常广泛，在2016年3月大疆就推出了一款利用双目视觉进行避障的无人机产品——精灵4（图7），后来又升级为精灵4Pro。该款无人机采用3组双目视觉系统，可以实现多方向障碍物检测。系统[19]。鱼眼镜头是一种广角镜头，其焦距一般小于等于16mm，视场角一般大于120°，目前其最大视场角已经超过270°。鱼眼镜头的基本结构为反摄远型物镜结构，即共有两组透镜组成，前组为负透镜，后组为正透镜。鱼眼镜头的结构导致了鱼眼全景系统摄取的图像具有大量的畸变，这种畸变一般为线性畸变和桶形畸变。因此对于利用鱼眼镜头摄取的图像在应用之前需要经过图像畸变矫正。常用的图形畸变矫正方法有标定板法和非标定板法[20]。鱼眼镜头目前技术成熟、成本较低，其大视角的优点使得其在全景摄像方面应用广泛。图7大疆精灵4无人机2双目全景视觉及其在无人机避障方面的应用和发展双目全景视觉应用于无人机避障，弥补了双目视觉视野不足，有利于对运动物体进行捕捉跟踪，可提高无人机避障准确率。双目全景系统根据其结构可分为水平式双目全景系统和垂直式双目全景系统。水平时双目全景系统可以获得较大的环境深度信息，在水平方向上容易出现相互遮挡的问题，导致立体视觉的浪费。垂直式双目全景视觉可避免出现相互遮挡问题，并且可以获取水平方向360°的环境深度信息；另外，该结构还可以使得两幅全景图像的特征点处于同一极线上，这样可简化双目全景图像的特征Fig.7UAVofDJIPhantom4近些年科研人员在双目全景视觉的研究投入逐渐增多，也取得了很多研究成果，但双目全景视觉技术的应用转化并不多，将双目全景技术应用于无人机避障的研究更是少见。双目全景技术在无人机避障方面的应用难点在于双目全景系统的搭建、立体匹配、视差提取以及信息的快速处理。双目全景技术既能准确探测障碍物位置，又可以进行360°全方位探测，因此在无人机避障领域将有广阔的应用前景。基于双目全景视觉的无人机避障技术有以下几个发展方向：（1）双目全景的选型及系统搭建。全景视觉有多种18
马勋举等：基于双目全景视觉的无人机避障技术探究自动化与智能化类型，双目系统也有多种结构，将双目全景技术应用于无人机，其结构要适应无人机的特点。（2）图像特征提取与立体匹配及视差提取。全景视觉往往带有畸变，因此双目全景技术的图像处理算法与普通双目视觉技术略有不同，这方面亟待突破。（3）信息的快速处理及无人机避障路径规划。信息处理速度直接决定无人机避障是否及时，无人机信息获取之后的路径规划也决定着避障是否成功。mentofavirtualrealityGISusingstereovision［J］.（1）：ersandElectronicsinAgriculture，2008，63［11］李盛辉，周俊，姬长英，等.基于全景视觉的智能农业车辆运动障碍目标检测［J］.农业机械学报，［12］曹文君，赵祚喜.Ladybug系列多目全景视觉技术的应用研究［J］.机械与电子，2017，35（12）.［13］ReddyBS，-basedtechniquefortranslation，rotation，andscale-invariantimageregistration［J］.IEEETransactionsonImageProcess⁃ing，1996，8（5）：1266-1271.2002，16（2）：22-30.2013，44（12）：239-244.3结束语通过分析无人机常用避障技术的优缺点，得出机器视觉在人机避障方面具有可以准确获取障碍物位置和轮廓、不受外界信号干扰、所需功率较低等多种优势。双目视觉可以获取图像的景深，全景视觉可以获得周围360°的景象，将二者相结合并应用于无人机避障可以大大提高无人机避障的准确性。双目结构可分为垂直式和水平式，全景视觉分为多目全景、折反射全景和鱼眼全景。最后，提出基于双目全景视觉的无人机避障技术的技术流程图和未来发展方向：双目全景的选型及系统搭建，图像特征提取与立体匹配及视差提取，信息的快速处理及无人机避障路径规划。参考文献：［1］张涛，芦维宁，李一鹏.智能无人机综述［J］.航空制造技术，2013，432（12）：32-35.［2］MahjriI，DhraiefA，wonColli⁃［C］.8thInternationalWorkshoponCommunication［3］刘海波，李冀.浅析无人机自动避障系统［J］.中国计量，2017（09）：84-85.［4］MengL，HirayamaT，ater-dronewithPanoramicCameraforAutomaticFishRecognition［5］周星，高志军.立体视觉技术的应用与发展［J］.图学学报，2010，31（4）：50-55.［6］苏东.基于双目视觉的小型无人飞行器的导航与避障［D］.成都：电子科技大学，2014.［7］王淏，潘峥嵘，朱翔.基于双目视觉的无人机避障之研究［J］.自动化与仪表，2018，33（4）：34-38.［8］AndreassonH，AndréTreptow，-local⁃izationinnon-stationaryenvironmentsusingomni-direc⁃tionalvision［J］.RoboticsandAutonomousSystems，2007，55（7）：nDeepLearning［J］.IEEEAccess，2018：logiesforVehicles，Springer，2015：oidanceSystemsforUnmannedAerialVehicles［14］osaicsforvirtualenvironments［J］.IEEEComputerGraphicsandApplications，［15］张雷.单视点折反射成像系统的建模、标定与应用［D］.杭州：浙江大学，2010.［16］马子领，王建中.折反射全景侦察图像展开和矫正方法［J］.弹箭与制导学报，2010，30（5）：［17］吴自新.全景视觉系统设计与图像处理技术研究［D］.哈尔滨：哈尔滨工程大学，2006.［18］陈凯鑫.基于双目全景视觉的目标定位技术研究［D］.哈尔滨：哈尔滨工程大学，2014.［19］KrishnanG，-FisheyeCameraforPan⁃oramicImaging［C］.2008IEEEWorkshoponAppli⁃［20］靳东亮.全景视觉辅助驾驶系统关键技术研究［D］.锦州：辽宁工业大学，2018.［21］TangYP，WangQ，ZongML，ofVerti⁃callyAlignedBinocularOmnistereoVisionSensor［J］.2010（1）：PJournalonImageandVideoProcessing，，2008：1550-5790.173-176.第一作者简介：马勋举，男，1991年生，河南人，硕士研究生。研究领域：无人机避障技术、外骨骼机器人。已发表论文4篇。(编辑：阮毅)［9］MariottiniGL，ScheggiS，MorbidiF，⁃rateandrobustvisual-compassalgorithmforro⁃bot-mountedomnidirectionalcameras［J］.Robotics&AutonomousSystems，2012，60（9）：1179-1190.［10］LinTT，HsiungYK，HongGL，p⁃19