2024年4月21日发(作者：常绿蓉)
非重叠视野下跨摄像头行人跟踪及重识
别的研究
摘要：随着综合国力的不断提高，计算机视觉也得到了巨大的发展。目标跟
踪作为计算机视觉领域中的一个重要组成部分，在视频监控领域有着极大应用价
值，目标跟踪技术实现了智能监控系统。目标跟踪是在视频的第一帧时给出目标
的初始位置，利用跟踪算法计算出后续每帧图像中目标运动轨迹[1]。近几年目
标跟踪算法主要分为两部分，一部分是传统的目标跟踪算法，另一部分是基于深
度学习的目标跟踪算法。传统的目标跟踪算法主要是基于相关滤波，例如
Henrique等人提出的相关滤波器（KCF）算法，MartinDanelljan等人提出的加
入标准信息的相关滤波器（DSST）目标跟踪算法。
关键词：非重叠视野；跨摄像头；行人跟踪；重识别
引言
随着计算机与电子技术的发展，区域安全的监控由过去的人工巡逻逐渐向智
能化监控发展。借助各类检测报警装置，或者使用智能机器人代替人工，许多重
要场所都安装有安全监控系统防止外部的人或者动物等随意进入该区域。例如在
电网区域附近，往往布有许多大型设备，不仅要防止不法分子破坏或盗取设备，
也要防止无关人员或动物靠近或进入该区域，以免对其生命造成危害。因此区域
安全监控系统的设计一定要精准、可靠、稳定、高效，能够及时检测到“入侵”
信号，从而对其做出判断。
1硬件平台
硬件部分的整体设计由3个模块组成，分别为图像采集模块、舵机云台模块、
控制模块。图像采集模块包括In⁃teli5cpuMVIDIAGeForce620计算机、分辨率为
640x480的usb高清摄像头。舵机云台模块是由MG996R型舵机和机械支架组成，
控制模块由Arduinounor3构成。单片机和摄像头都是与上位机的USB接口连接，
舵机的信号线与单片机的9、10引脚连接，单片机9引脚输出的PWM波控制水平
方向的舵机，使云台可以水平旋转，10引脚发出的PWM波控制舵机转动做俯仰姿
态。PWM波的周期为20ms，它的脉冲宽度为0.5ms至2.5ms之间，可以控制舵机
转动相应的角度，舵机旋转的角度范围为0~180度。由于单片机不足以给两台舵
机进行供电，所以将舵机的电源线接到6v外接电源上，给两台舵机进行供电。
控制模块是由Arduinounor3构成，它是由Atmega328为基础的单片机开发板，
单片机共有14个数字GPIO口A0到A13，A6-A13引脚可以输出PWM信号，A0-A5
引脚可以输入输出数字信号。它具有使用便利、编程简单且灵活性高、可扩展性
强等优势。控制模块与图像处理模块通过串口通信进行信息交流，实时控制舵机
运转，实现目标的跟踪。舵机云台模块是由MG996R型舵机和机械支架组成，
MG996R型舵机具有扭力大控制精度高等特点，而且舵机只需要50Hz频率的PWM
信号就能完美地控制旋转角度，相比于其他种类的电机，舵机的控制更加精准。
舵机云台模块接收到控制模块发出的PWM旋转相应的角度，控制摄像头跟随目标。
近年来，随着人民生活水平的不断提高，汽车保有量逐年增加，越来越多的汽车
不仅带来了管理上的困难，也带来了巨大的交通隐患。因此，车辆特征提取、肇
事车辆跟踪成为智能交通研究的重心。
国内外的研究人员对车辆的跟踪进行了许多尝试，目前常用的跟踪方法大多
都是基于特征提取方法，结合SVM分类器 、背景建模 等为目标建立跟踪模型。
建立分类器需要一定的初始样本，并且需要目标车辆在多个摄
像头之间出现时有相同的特征分布，才能有比较好的跟踪效果；背景建模方
法基于帧间像素的相关性，实时性较强，但对光线变化、摄像机抖动很敏感，并
且无法跟踪跨摄像头后的目标。
常用的车辆分类特征有轮廓 、长度等，但随着摄像头距离的远近以及摄像
头的摆放不同会产生尺度和角度的变化，不适用于车辆的跨摄像头的跟踪。李星
等 用方向梯度直方图（HOG）特征结合SVM分类器训练车辆识别模型，能够在不
同光照自适应地进行车辆的识别，但只能对不同类型的车辆进行分类，达不到跟
踪的效果。SIFT特征对旋转、尺度缩放、亮度变化等保持不变性，是一种非常稳
定的局部特征，蔺海峰等 通过对目标SIFT特征进行实时更新，保证了特征的稳
定性，但目标跨摄像头后中间帧信息的缺失，导致目标再出现后SIFT特征不能
很好地描述目标信息，造成了跟踪目标的丢失，不能保证跨摄像头跟踪的准确性。
得益于深度学习，从2012年开始，目标检测取得了重大的突破，其中最关
键的技术是卷积神经网络（convolution neural network： CNN）和候选区域
（region proposal）算法 。2012年，Hinton等人 采用深度学习AlexNet网络
在ImageNet 图像分类比赛上成功将1000类物体的top5分类准确率从74%提升
到了85%。之后，卷积神经网络因其出色的性能得到了学术界和工业界广泛的认
可，不断被应用到计算机视觉，语言识别等人工智能领域，其间，卷积神经网络
的架构得到了不断改进，性能也在逐步提高。
基于深度学习理论，本文提出了一种基于特征匹配的车辆跨摄像头的跟踪方
法。该算法对SSD（Single Shot MultiBox Detector） 物体检测模型进行了改
进，针对性地训练车辆检测模型进行监控视频和图像中的车辆目标区域的检测，
大大提高了车辆检测的准确率，并结合监测点位的时空分布模型，使用一种特征
匹配的方式对车辆进行跟踪，不仅保证了车辆跟踪的实时性，跟踪的准确率也有
很大提高。
2智能摄像头定义及范围
智能摄像头通常是指搭载操作系统，将光学图像转换为电信号并保存记录，
可以通过移动智能终端进行操控，与云平台进行通信，含有人形侦测、移动追踪、
移动侦测及人脸识别等一个或多个智能功能的摄像机系统。通常情况下，智能摄
像头可以在居家环境、公共环境、娱乐环境及车载环境中广泛使用。智能摄像头
与传统摄像头存在较大区别，主要体现在：智能摄像头是在传统摄像头的基础上
搭载操作系统并通过软件算法实现智能化功能的摄像头，拥有安防侦测、人形识
别、人脸识别及远程报警等功能；传统摄像头仅是通过镜头采集图像后，由摄像
头内部处理器对图像处理并转换为数字信号输出，主要应用于安防、监控、摄影
及摄像等场景。此外，相较传统摄像头，智能摄像头在图像输出格式、信息安全
包含、图像识别性能以及图像和声音传输质量等方面性能更优。为了达到高精度，
摄像头在进行产品设计时，需要考虑产品的共性问题，尽量做到产品平台化，这
样才能便于制造，保证产品品质。经过分析设计，设计出了平台化摄像头产品。
有了平台化的摄像头产品，即可进行智能制造可行性分析。平台化的摄像头具备
以下特点：高精度、高可靠性、产品品质稳定。
经过评估，最终确定摄像头的关键制造技术如下：自动装配、自动标定、自
动检测、自动固化。本文重点讨论自动标定和自动检测技术，对于自动装配技术
不进行讨论。当前摄像头标定技术方案主要有两种：手动标定和全自动标定。手
动标定用于对FOV精度公差在±2°～±3°的范围中，标定结果由目视对比确定，
精度不高，不符合高精度的技术要求。全自动标定FOV精度公差可达到±0.8°，
能够满足高精度的要求。因此，对于高精度标定技术的技术方案采用全自动标定
技术方案。
全自动标定技术方案总体设计时需要考虑的因素：工序步骤定义、工艺设备
可实现性、成本可控、满足商品批量生产性。经过评估，采用工序如下：自动点
胶→自动标定→自动固化→自动检测。设备设计方案：采用3套设备完成自动标
定工作。3套设备分别是6轴自动标定机构、自动固化设备、自动检测设备。
3智能摄像头分类
智能摄像头产品按照使用场景可以分为智能看护摄像头、智能猫眼摄像头、
运动拍摄摄像头以及智能行车记录仪等。智能看护摄像头可使用手机软件远程查
看家中儿童、老人情况，还可与家中儿童、老人实时语音通话；智能猫眼摄像头
可发现门外可疑人员并远程通知主人，同时可通过人形识别功能启动录制门外人
物活动视频，还可以通过移动用户终端的变声对讲实现远程通话；运动拍摄摄像
头可佩戴在使用者的身体、衣服和饰品或使用者操控的运动物体上，以使用者第
一视角记录日常生活和运动瞬间；智能行车记录仪可以在行车中实现红绿灯、限
速、事故路段预警播报和录制，还可以通过重力感应器，在紧急刹车或发生碰撞
时自动录制视频，还可以通过延时摄影技术实现停车视频压缩记录。
4视频监控的意义
信息的传输和储存方式有很多，其中视频就是主要的媒体，在计算机硬软件
快速发展并提升的背景下，目前通过技术能够将图像快速且高效地处理，这是基
于普通功能的一种提升，在视频中对图像处理的效果也是在很大程度上有所提高。
从前在安防领域的监控摄像头已经在经济水平提升基础上逐渐普及到了社会各领
域中，加上数字、网络以及智能化的应用，虽然这种技术被一些超前的企业所运
用，但是市场上还是没有相关的产品作为支撑。现阶段我国在数字化的研究上已
经实现了实质性的进展，而诸如网络摄像机和在线产品服务也相继出现，这在很
大程度上就能够作为智能视频监控推出的重要载体。智能摄像头的功能细化分析
能够分为10个：实时监控功能能够远程的呈现出捕捉的画面；录像功能能够对
捕捉的画面二次还原；报警功能可以对于一些意外事件利用事先制定好的设备进
行报警并全过程录像；电子地图功能可以让用户直接将把已存在的监控摄像头调
取出来并远程操控、数字矩阵功能就是可以远程的对摄像头进行上下左右几个方
向转动，然后聚焦和切换位置等；用户权限管理功能就是提前设置好操作的权限，
用户和管理员能够有权利对其操作；日志管理功能是智能摄像头监控期间会把一
些设置好并捕捉到的镜头记录下来并生成日志，方便日后的查看；设备及端口参
数设置可以根据应用的环境和条件灵活调节；颜色的设置功能是能够根据监控地
的场合与光线等自由调节明暗程度；辅助功能是可以实现计算机智能系统当中的
一些特色功能。
5静态背景下的运动目标检测
对于运动目标的检测主要的目的就是能够把区域内变化的图像能够准确地提
取出来，这不论在什么类型的监控摄像头当中都是至关重要的一个问题。在监控
的区域中能够通过智能化系统将其分成单模态与多模态这两种，前者是处于什么
环境之中，其中的条件并没有太大变化，主要针对室内环境监测。首先是时域差
分法，它主要是对一个比较小的室间隔中图像所采用的像素时间分割，能够提取
期间运动的目标，而且在区域中会捕捉指定的背景和运动目标。其次是背景差法，
在目前图像和它背景之间的差分，在提取其中的比值，以此把运动的目标分割出
来。最后是光流场法，光流逝图像的亮度，能够把运动表现出来，它在图像的灰
度模式上可以展现出其中的信息。光溜和运动并不是一定对应，但是一般来说可
以认为光流没有区别，所以就能够根据图像中的运动再去预估相对运动。以上的
阐述都是在静态背景下才能利用的一种技术，背景差法测试目标所得到的是目标
的位置，在固定的摄像头和云台摄像头搜集图像的区域内采集信息会比较全面，
而且其中的细节也都能极大地展现出来。
结语
智能摄像头的广泛应用，有助于提高绿色智能家电消费。但是目前产品标准
缺失以及应满足参数的虚标等问题，仍需要第三方实验室和质量从业者充分结合
质量现状，了解相关质量痛点，采取有效的解决方案，进一步提高产品的安全性
和智能化水平。
参考文献
[1]张阳阳.基于智能家居摄像头的人脸表情识别应用：记录精彩一刻[D].荆
州：长江大学，2021.
[2]陈卓婧，孙亚楠.基于信任增进的适老化家用智能摄像头设计[J].大众文
艺，2022（8）：25-28.
2024年4月21日发(作者：常绿蓉)
非重叠视野下跨摄像头行人跟踪及重识
别的研究
摘要：随着综合国力的不断提高，计算机视觉也得到了巨大的发展。目标跟
踪作为计算机视觉领域中的一个重要组成部分，在视频监控领域有着极大应用价
值，目标跟踪技术实现了智能监控系统。目标跟踪是在视频的第一帧时给出目标
的初始位置，利用跟踪算法计算出后续每帧图像中目标运动轨迹[1]。近几年目
标跟踪算法主要分为两部分，一部分是传统的目标跟踪算法，另一部分是基于深
度学习的目标跟踪算法。传统的目标跟踪算法主要是基于相关滤波，例如
Henrique等人提出的相关滤波器（KCF）算法，MartinDanelljan等人提出的加
入标准信息的相关滤波器（DSST）目标跟踪算法。
关键词：非重叠视野；跨摄像头；行人跟踪；重识别
引言
随着计算机与电子技术的发展，区域安全的监控由过去的人工巡逻逐渐向智
能化监控发展。借助各类检测报警装置，或者使用智能机器人代替人工，许多重
要场所都安装有安全监控系统防止外部的人或者动物等随意进入该区域。例如在
电网区域附近，往往布有许多大型设备，不仅要防止不法分子破坏或盗取设备，
也要防止无关人员或动物靠近或进入该区域，以免对其生命造成危害。因此区域
安全监控系统的设计一定要精准、可靠、稳定、高效，能够及时检测到“入侵”
信号，从而对其做出判断。
1硬件平台
硬件部分的整体设计由3个模块组成，分别为图像采集模块、舵机云台模块、
控制模块。图像采集模块包括In⁃teli5cpuMVIDIAGeForce620计算机、分辨率为
640x480的usb高清摄像头。舵机云台模块是由MG996R型舵机和机械支架组成，
控制模块由Arduinounor3构成。单片机和摄像头都是与上位机的USB接口连接，
舵机的信号线与单片机的9、10引脚连接，单片机9引脚输出的PWM波控制水平
方向的舵机，使云台可以水平旋转，10引脚发出的PWM波控制舵机转动做俯仰姿
态。PWM波的周期为20ms，它的脉冲宽度为0.5ms至2.5ms之间，可以控制舵机
转动相应的角度，舵机旋转的角度范围为0~180度。由于单片机不足以给两台舵
机进行供电，所以将舵机的电源线接到6v外接电源上，给两台舵机进行供电。
控制模块是由Arduinounor3构成，它是由Atmega328为基础的单片机开发板，
单片机共有14个数字GPIO口A0到A13，A6-A13引脚可以输出PWM信号，A0-A5
引脚可以输入输出数字信号。它具有使用便利、编程简单且灵活性高、可扩展性
强等优势。控制模块与图像处理模块通过串口通信进行信息交流，实时控制舵机
运转，实现目标的跟踪。舵机云台模块是由MG996R型舵机和机械支架组成，
MG996R型舵机具有扭力大控制精度高等特点，而且舵机只需要50Hz频率的PWM
信号就能完美地控制旋转角度，相比于其他种类的电机，舵机的控制更加精准。
舵机云台模块接收到控制模块发出的PWM旋转相应的角度，控制摄像头跟随目标。
近年来，随着人民生活水平的不断提高，汽车保有量逐年增加，越来越多的汽车
不仅带来了管理上的困难，也带来了巨大的交通隐患。因此，车辆特征提取、肇
事车辆跟踪成为智能交通研究的重心。
国内外的研究人员对车辆的跟踪进行了许多尝试，目前常用的跟踪方法大多
都是基于特征提取方法，结合SVM分类器 、背景建模 等为目标建立跟踪模型。
建立分类器需要一定的初始样本，并且需要目标车辆在多个摄
像头之间出现时有相同的特征分布，才能有比较好的跟踪效果；背景建模方
法基于帧间像素的相关性，实时性较强，但对光线变化、摄像机抖动很敏感，并
且无法跟踪跨摄像头后的目标。
常用的车辆分类特征有轮廓 、长度等，但随着摄像头距离的远近以及摄像
头的摆放不同会产生尺度和角度的变化，不适用于车辆的跨摄像头的跟踪。李星
等 用方向梯度直方图（HOG）特征结合SVM分类器训练车辆识别模型，能够在不
同光照自适应地进行车辆的识别，但只能对不同类型的车辆进行分类，达不到跟
踪的效果。SIFT特征对旋转、尺度缩放、亮度变化等保持不变性，是一种非常稳
定的局部特征，蔺海峰等 通过对目标SIFT特征进行实时更新，保证了特征的稳
定性，但目标跨摄像头后中间帧信息的缺失，导致目标再出现后SIFT特征不能
很好地描述目标信息，造成了跟踪目标的丢失，不能保证跨摄像头跟踪的准确性。
得益于深度学习，从2012年开始，目标检测取得了重大的突破，其中最关
键的技术是卷积神经网络（convolution neural network： CNN）和候选区域
（region proposal）算法 。2012年，Hinton等人 采用深度学习AlexNet网络
在ImageNet 图像分类比赛上成功将1000类物体的top5分类准确率从74%提升
到了85%。之后，卷积神经网络因其出色的性能得到了学术界和工业界广泛的认
可，不断被应用到计算机视觉，语言识别等人工智能领域，其间，卷积神经网络
的架构得到了不断改进，性能也在逐步提高。
基于深度学习理论，本文提出了一种基于特征匹配的车辆跨摄像头的跟踪方
法。该算法对SSD（Single Shot MultiBox Detector） 物体检测模型进行了改
进，针对性地训练车辆检测模型进行监控视频和图像中的车辆目标区域的检测，
大大提高了车辆检测的准确率，并结合监测点位的时空分布模型，使用一种特征
匹配的方式对车辆进行跟踪，不仅保证了车辆跟踪的实时性，跟踪的准确率也有
很大提高。
2智能摄像头定义及范围
智能摄像头通常是指搭载操作系统，将光学图像转换为电信号并保存记录，
可以通过移动智能终端进行操控，与云平台进行通信，含有人形侦测、移动追踪、
移动侦测及人脸识别等一个或多个智能功能的摄像机系统。通常情况下，智能摄
像头可以在居家环境、公共环境、娱乐环境及车载环境中广泛使用。智能摄像头
与传统摄像头存在较大区别，主要体现在：智能摄像头是在传统摄像头的基础上
搭载操作系统并通过软件算法实现智能化功能的摄像头，拥有安防侦测、人形识
别、人脸识别及远程报警等功能；传统摄像头仅是通过镜头采集图像后，由摄像
头内部处理器对图像处理并转换为数字信号输出，主要应用于安防、监控、摄影
及摄像等场景。此外，相较传统摄像头，智能摄像头在图像输出格式、信息安全
包含、图像识别性能以及图像和声音传输质量等方面性能更优。为了达到高精度，
摄像头在进行产品设计时，需要考虑产品的共性问题，尽量做到产品平台化，这
样才能便于制造，保证产品品质。经过分析设计，设计出了平台化摄像头产品。
有了平台化的摄像头产品，即可进行智能制造可行性分析。平台化的摄像头具备
以下特点：高精度、高可靠性、产品品质稳定。
经过评估，最终确定摄像头的关键制造技术如下：自动装配、自动标定、自
动检测、自动固化。本文重点讨论自动标定和自动检测技术，对于自动装配技术
不进行讨论。当前摄像头标定技术方案主要有两种：手动标定和全自动标定。手
动标定用于对FOV精度公差在±2°～±3°的范围中，标定结果由目视对比确定，
精度不高，不符合高精度的技术要求。全自动标定FOV精度公差可达到±0.8°，
能够满足高精度的要求。因此，对于高精度标定技术的技术方案采用全自动标定
技术方案。
全自动标定技术方案总体设计时需要考虑的因素：工序步骤定义、工艺设备
可实现性、成本可控、满足商品批量生产性。经过评估，采用工序如下：自动点
胶→自动标定→自动固化→自动检测。设备设计方案：采用3套设备完成自动标
定工作。3套设备分别是6轴自动标定机构、自动固化设备、自动检测设备。
3智能摄像头分类
智能摄像头产品按照使用场景可以分为智能看护摄像头、智能猫眼摄像头、
运动拍摄摄像头以及智能行车记录仪等。智能看护摄像头可使用手机软件远程查
看家中儿童、老人情况，还可与家中儿童、老人实时语音通话；智能猫眼摄像头
可发现门外可疑人员并远程通知主人，同时可通过人形识别功能启动录制门外人
物活动视频，还可以通过移动用户终端的变声对讲实现远程通话；运动拍摄摄像
头可佩戴在使用者的身体、衣服和饰品或使用者操控的运动物体上，以使用者第
一视角记录日常生活和运动瞬间；智能行车记录仪可以在行车中实现红绿灯、限
速、事故路段预警播报和录制，还可以通过重力感应器，在紧急刹车或发生碰撞
时自动录制视频，还可以通过延时摄影技术实现停车视频压缩记录。
4视频监控的意义
信息的传输和储存方式有很多，其中视频就是主要的媒体，在计算机硬软件
快速发展并提升的背景下，目前通过技术能够将图像快速且高效地处理，这是基
于普通功能的一种提升，在视频中对图像处理的效果也是在很大程度上有所提高。
从前在安防领域的监控摄像头已经在经济水平提升基础上逐渐普及到了社会各领
域中，加上数字、网络以及智能化的应用，虽然这种技术被一些超前的企业所运
用，但是市场上还是没有相关的产品作为支撑。现阶段我国在数字化的研究上已
经实现了实质性的进展，而诸如网络摄像机和在线产品服务也相继出现，这在很
大程度上就能够作为智能视频监控推出的重要载体。智能摄像头的功能细化分析
能够分为10个：实时监控功能能够远程的呈现出捕捉的画面；录像功能能够对
捕捉的画面二次还原；报警功能可以对于一些意外事件利用事先制定好的设备进
行报警并全过程录像；电子地图功能可以让用户直接将把已存在的监控摄像头调
取出来并远程操控、数字矩阵功能就是可以远程的对摄像头进行上下左右几个方
向转动，然后聚焦和切换位置等；用户权限管理功能就是提前设置好操作的权限，
用户和管理员能够有权利对其操作；日志管理功能是智能摄像头监控期间会把一
些设置好并捕捉到的镜头记录下来并生成日志，方便日后的查看；设备及端口参
数设置可以根据应用的环境和条件灵活调节；颜色的设置功能是能够根据监控地
的场合与光线等自由调节明暗程度；辅助功能是可以实现计算机智能系统当中的
一些特色功能。
5静态背景下的运动目标检测
对于运动目标的检测主要的目的就是能够把区域内变化的图像能够准确地提
取出来，这不论在什么类型的监控摄像头当中都是至关重要的一个问题。在监控
的区域中能够通过智能化系统将其分成单模态与多模态这两种，前者是处于什么
环境之中，其中的条件并没有太大变化，主要针对室内环境监测。首先是时域差
分法，它主要是对一个比较小的室间隔中图像所采用的像素时间分割，能够提取
期间运动的目标，而且在区域中会捕捉指定的背景和运动目标。其次是背景差法，
在目前图像和它背景之间的差分，在提取其中的比值，以此把运动的目标分割出
来。最后是光流场法，光流逝图像的亮度，能够把运动表现出来，它在图像的灰
度模式上可以展现出其中的信息。光溜和运动并不是一定对应，但是一般来说可
以认为光流没有区别，所以就能够根据图像中的运动再去预估相对运动。以上的
阐述都是在静态背景下才能利用的一种技术，背景差法测试目标所得到的是目标
的位置，在固定的摄像头和云台摄像头搜集图像的区域内采集信息会比较全面，
而且其中的细节也都能极大地展现出来。
结语
智能摄像头的广泛应用，有助于提高绿色智能家电消费。但是目前产品标准
缺失以及应满足参数的虚标等问题，仍需要第三方实验室和质量从业者充分结合
质量现状，了解相关质量痛点，采取有效的解决方案，进一步提高产品的安全性
和智能化水平。
参考文献
[1]张阳阳.基于智能家居摄像头的人脸表情识别应用：记录精彩一刻[D].荆
州：长江大学，2021.
[2]陈卓婧，孙亚楠.基于信任增进的适老化家用智能摄像头设计[J].大众文
艺，2022（8）：25-28.