无人机运动目标检测和跟踪系统设计分析

　　
　　无人机是一种利用无线电进行遥控的飞行器，具有机动灵活、成本低廉等特点。目前，在军事和民用的各个领域，无人机都发挥着重要的作用。为了在飞行过程中感知和收集外部信息，无人机常配备声呐、激光、视觉传感器等设备，相对于其他传感器而言，视觉传感器采集的信息更加丰富和直观，可以实现对场景中目标的实时监测。
　　
　　对无人机地面移动目标监控系统的研究一直是一个涉及多学科具有重要意义的应用研究课题，本文围绕着计算机视觉技术展开，选取相关算法来解决运动目标检测与目标跟踪问题，并从应用于无人机监控的实际出发，对算法进行了改良，在本文的最后，对无人机监控系统进行了设计与实现，具体研究包括：
　　
　　（1）针对无人机监控系统的运动目标检测问题，采用了背景补偿差分法加以解决。由于机载摄像机与监控画面存在相对运动，本文采用仿射运动参数模型对监控画面的背景运动进行建模。为了准确地估算出背景运动参数，首先采用Harris 角点检测算法和菱形匹配规则对监控画面中相邻帧图像进行特征提取和特征点匹配，针对匹配点对中的错误点，通过距离统计直方图的形式进行剔除，然后通过最小二乘法估计出监控画面的背景运动参数。最后运用背景运动参数对参考帧进行背景补偿后与当前帧进行差分，达到检测监控画面内运动目标的目的。实验结果表明，该算法可以有效检测出视频流中的运动目标。
　　
　　（2）为了适应无人机目标跟踪过程中的目标尺度变化问题，本文选用 DSST算法进行目标跟踪。针对在跟踪过程中目标可能会发生遮挡的问题，首先，本文建立起图像平面坐标与空间坐标的映射关系，然后采用 Kalman 滤波器对目标在空间坐标系的运动状态进行预测。在图像平面的目标跟踪中，本文采用 APCE 参数对目标跟踪结果衡量，并采用高置信度更新策略，如果目标未发生遮挡，则更新 DSST 跟踪模型，并将跟踪结果转换到空间坐标系中更新 Kalman 滤波器；如果目标发生遮挡，则保留当前跟踪模型，并将 Kalman 滤波器的预测值转换到图像平面，作为当前帧的跟踪结果和 DSST 算法下一帧的输入参数。实验证明了该算法的有效性。
　　
　　（3）无人机监控系统进行了模块化设计，并运用 QT 和 OpenCV 等技术对此系统进行了实现。
　　
　　关键词：  无人机，目标检测，目标跟踪，实时图像跟踪系统。
　　 　　UAV is a remote control by radio for an aircraft, having a flexible, low cost and so on. Currently, UAV plays an important role in all areas of military and civilian use. In order to sense and collect external information during the flight, UAV is often equipped with equipment such as sonar, laser, and visual sensors. Compared to other, the information collected by the vision sensor is richer and more intuitive, enabling real-time monitoring of targets in the scene.
　　
　　The research on the UAV ground moving target monitoring system has always been a multi-disciplinary application research topic. This paper focuses on thedevelopment of computer vision technology, and selects relevant algorithms to solve the problem of moving target detection and target tracking. The actual algorithm of UAV monitoring is improved. At the end of this paper, the UAV monitoring system is designed and implemented. The specific research includes:
　　
　　(1) The background compensation difference method is used to solve the moving target detection problem of the UAV monitoring system. Because of the relative motion between the airborne camera and the monitoring picture, this paper uses the affine motion parameter model to model the background motion of the background of the monitoring picture. In order to accurately estimate the background motion parameters,the Harris corner detection algorithm and the diamond matching rule are used to perform feature extraction and feature point matching on adjacent frame images in the monitoring image. For the error points in the matching point pairs, the distance statistical histogram is used. The form is culled, and then the background motion parameters of the monitor picture are estimated by the least squares method. Finally,the background motion parameter is used to perform background compensation on the reference frame and then differentiate from the current frame to achieve the purpose of detecting the moving target in the monitoring screen. Experimental results show that the algorithm can effectively detect moving targets in the video stream.
　　
　　(2) In order to adapt to the target scale change in the target tracking process of the UAV, this paper selects the DSST algorithm for target tracking. Aiming at the problem that the target may be occluded during the tracking process, firstly, the mapping relationship between image plane coordinates and space coordinate system coordinates is established, and then the motion state of the target in the space coordinate system is predicted by Kalman filter. In the target tracking of image plane, this paper uses APCE parameters to measure the target tracking result and adopts a high confidence update strategy. If the target does not occlude, update the DSST tracking model and convert the tracking result to the spatial coordinate system to update Kalman. Filter; if the target is occluded, the current tracking model is retained, and the predicted value of the Kalman filter is converted to the image plane as the tracking result of the current frame and the input parameter of the next frame of the DSST algorithm. Experiments prove the effectiveness of the algorithm.
　　
　　(3)The UAV monitoring system was modularized and implemented using technologies such as QT and OpenCV.
　　
　　Keywords:   UAV, target detection, target tracking, real time video tracking system。
　　 　　
　　1.1 课题研究的背景和意义。
　　
　　无人机（UnmannedAerialVehicle，UAV）是一种利用自身携带设备和程序自主飞行或者以无线电远程遥控飞行的无人飞行载具。无人机具有成本低廉、机动灵活、使用方便等优点。它的出现，也使一些超过人类生理承受力的飞行任务成为可能。
　　
　　世界上第一架无人机诞生于 1917 年，起初无人机的主要是携带高爆炸物作为一次性炸弹使用。在此后很长一段时间内，美国的无人机技术领跑全世界。20世纪 70 年代的美越战争，美军使用无人机累计进行 3400 多次侦查任务，获得的情报占总情报数的 80%。在 1991 年发生的海湾战争中，无人机担负着收集情报，侦查和攻击等任务[1]。在此之后，西方国家开始逐渐重视无人机武器系统的开发，争相把最新的科技成果运用在无人机上。我国对无人机的研发始于 20 世纪 50 年代后期，最初多用于靶机和无人照相侦察机。1977 年，无线电遥控的“长空一号”喷气亚音速无人机圆满完成了核试验穿云取样任务。特别是近几年我国无人机迎来井喷式发展，2012 年，中国“翼龙”无人机亮相珠海航展，该无人机配有红外传感器武器系统和合成孔径雷达，可以实现无人机空中加油、中低空长航时飞行侦查和对敌目标的精确打击。中国自主研发的“彩虹”系列无人机已出口多个国家，见证了中国无人机从无到有，从弱到强的发展历程。时至今日，无人机已发展成不可缺少的空中力量。民用领域无人机的广泛应用同样加速了无人机的迭代进程。如今无人机已应用到航拍、农业、测绘、气象、灾难救援等各个领域,节省了大量的人力物力。
　　
　　按飞行平台的构型分类，可以把无人机分为固定翼无人机或者旋翼无人机。旋翼无人机的机械结构简单，安全性高，使用成本更低，因此常用于执行低空飞行任务。大多数的无人机都会配备全球定位系统（Global Position System,GPS）来完成自身的导航与定位[2]，但是 GPS 精度略显不足且在某些特殊地域无法获取 GPS 信号的特点限制了无人机导航定位精度。这时将计算机视觉技术引入无人机领域就显得很有必要。为了在飞行过程中感知外部世界的变化并收集检测目标信息，无人机常配有雷达、红外或者视觉传感器（摄像机）。而在低空飞行过程中，为了应对各种各样的需求，常采用长焦距防抖动的摄像机进行图像采集。
　　 　　
　　计算机视觉技术应用于无人机领域的历史最早可以追溯到 20 世纪 90 年代，经过几十年的发展，相关技术目前已经较为成熟。而且得益于处理器运算能力的提升，运用计算机视觉的相关技术来解决无人机领域的问题更加得心应手。目前计算机视觉主要用于解决无人机影像中的运动目标状态估计、目标识别和目标跟踪等问题。
　　
　　近几十年，计算机视觉技术得到长足的进步，在现实生活中的应用也越来越广泛。从大街小巷的视频监控，到军事上的战场敌情侦查，计算视觉技术渗透到人们日常生活的方方面面，潜移默化地改变着人们的日常生活。如果将最新的图像处理技术应用于无人机监控系统，可有效提高图像数据的处理速度和精度，显着降低监控成本。
　　
　　1.2 无人机视觉跟踪的技术要求和难点。
　　
　　无人机地面目标跟踪，指的是调节低空飞行的无人机的运动状态和机载云台摄像机的角度，使摄像机光轴指向目标或在目标附近。完成这项任务首先需要对机载摄像机回传的图像信息进行处理，提取出目标在图像中的位置，通过位置信息来指导无人机云台转动使摄像机光轴指向目标[3]。具体跟踪原理如下图：
　　 　　摄像机进行图像采集：摄像机将镜头获取的图像转为电信号，并转为数字图像。②运动目标检测与跟踪：采用合适的图像处理算法，对场景中的目标进行目标检测与目标跟踪，提取出目标在图像中的位置和大小等信息。③目标状态估计：将目标在图像中的位置与无人机的飞行姿态、云台的相关参数进行融合，得出目标在三维空间中的运动状态信息。④无人机飞行控制：根据目标的运动状态信息和当前无人机的运动状态，进行综合决策，得出无人机的控制指令，对无人机的航向、航速和飞行姿态等进行实时调节。⑤无人机云台控制：根据跟踪目标的实时状态调整云台摄像机姿态，使摄像机视轴指向跟踪目标，同时调节摄像机焦距获得清晰的图像。
　　
　　由于无人机在飞行过程中，机载摄像机拍摄图像的背景时刻都在改变，如何在动态背景的视频流中提取运动目标和对指定目标进行跟踪是本系统需要解决的一大难题。另外，在无人机飞行过程中，无人机飞行状态改变的随机性，容易导致云台摄像机丢失跟踪目标，如何合理的设计云台控制策略来补偿无人机飞行状态的改变是本系统需要解决的另一个问题。在对实时视频流进行图像处理的过程中，需要选取合适的目标检测与跟踪算法，一般来说，算法应该具备三种特性，即鲁棒性、准确性和实时性[4]：
　　
　　（1）鲁棒性（Robustness）。在目标检测与跟踪过程中，算法需要具备克服各种环境与噪声因素的影响的能力。通常来说，对算法产生负面影响的因素主要来自于以下几个方面[5]：①场景中的光照条件发生变化；②运动目标在跟踪过程中发生姿态变化与尺度变化；③场景中的某些物体对被跟踪目标进行了部分遮挡或者全部遮挡。
　　
　　当场景中的光照条件发生变化时，基于图像灰度或者色彩信息的目标检测与跟踪算法效果会显着降低，这时可以运用图像的其他特征比如边缘特征与点特征对目标进行跟踪，在背景杂乱的情况下，对边缘的提取比较困难，这时可以选用角点特征对目标进行跟踪。某些目标在跟踪过程中可能发生姿态改变，这时可以对被跟踪的目标进行三维重构，但是基于三维模型的跟踪通常会带来巨大的计算量。针对运动目标在跟踪过程中被遮挡的问题，可以采用多摄像机联合跟踪的方式来解决，但是多摄像机如何相互配合又是一大难题，在单摄像机的应用场景下，可以选用预测器对遮挡目标的运动状态进行预测[6]。
　　
　　（2）准确性（Accuracy）。运动目标检测算法的优劣可以用虚警率和漏警率进行衡量，当虚警率与漏警率都很低时，算法较为优秀。但是在实际应用中，由于受到场景中噪声的影响，往往难以同时保证两者，这时就应该根据实际应用的需要来对两者进行权衡。在目标跟踪过程中，有些跟踪算法会在跟踪过程中发生窗口漂移，导致跟踪失败[7]。为了衡量目标跟踪效果，可以计算跟踪结果的中心误差和区域重叠率，中心误差表示目标实际中心与算法预测中心的距离，区域重叠率表示预测重叠面积占预测面积与实际面积之和（去除多余的重叠部分）的比率。
　　
　　（3）实时性（Real-time）。为了保证系统的可用性，目标检测与跟踪算法必须能对视频流进行实时处理[8]，算法实时性可以用处理帧率来描述。需要说明的是，在选用算法时，应该同时考虑算法的处理速度与处理精度，不能有所偏废。
　　 　　
　　1.3 国内外研究现状
　　1.3.1 无人机目标运动目标状态估计
　　1.3.2 无人机云台控制
　　
　　1.4 本文的主要工作与结构安排
　　
　　第 2 章 主流目标检测与跟踪算法分析
　　
　　2.1 主流运动目标检测算法
　　2.2 主流目标跟踪算法
　　2.3 本章小结
　　
　　第 3 章 无人机地面运动目标检测算法设计
　　
　　3.1 建立背景运动模型
　　
　　3.2 背景运动参数解算
　　3.2.1 图像角点检测
　　3.2.2 特征匹配
　　3.2.3 背景运动参数估计
　　
　　3.3 基于模型的背景补偿
　　
　　3.4 运动目标提取
　　3.4.1 二值化
　　3.4.2 噪声滤除
　　3.4.3 连通性分析
　　
　　3.5 实验结果分析
　　
　　3.6 本章小结
　　
　　第 4 章 无人机地面目标跟踪算法设计
　　
　　4.1 无人机地面目标视觉定位
　　4.1.1 云台方位解算
　　4.1.2 摄像机成像模型
　　4.1.3 跟踪目标的定位
　　
　　4.2 DSST 目标跟踪算法
　　4.3 KALMAN 滤波器
　　4.4 基于 KALMAN 滤波器的改进目标跟踪算法
　　4.5 跟踪过程中无人机云台控制策略
　　4.6 实验结果分析
　　4.7 本章小结
　　
　　第 5 章 无人机监控系统设计与实现
　　
　　5.1 无人机监控系统设计
　　5.1.1 系统模块设计与功能介绍
　　5.1.2 系统的设计原则
　　
　　5.2 系统实现
　　
　　5.3 本章小结

　　第 6 章 总结

　　本文对无人机监控系统的关键技术进行了研究。主要包括无人机对地的运动目标检测技术，目标跟踪技术等。

　　针对无人机拍摄的运动背景视频流的目标检测问题，本文选取仿射模型来描述监控画面中背景的运动状态，然后运用特征点提取并匹配的方式对背景图像进行采样，对于特征对中错误点，通过距离统计直方图的形式进行剔除，然后通过最小二乘法求解运动参数，接下来运用插值法得出背景补偿帧，最后经过差分等步骤得出正确的运动目标。

　　在无人机拍摄的视频流中，有时会有出现目标被暂时遮挡的情况，用经典DSST 跟踪算法进行处理时很容易造成模型漂移问题，从而跟踪失败。针对该问题，本文首先建立起图像平面坐标与空间坐标系坐标的映射关系，并运用 Kalman滤波器进行目标的位置预测：当没有发生遮挡时，运用 DSST 算法得到的目标位置更新 Kalman 滤波器的参数；当发生严重遮挡时，运用 Kalman 滤波器的预测值作为当前位置，目标大小为固定值。当连续遮挡超过一定帧时，判定跟踪失败。

　　最后，本文阐述了无人机监控系统的设计理念，最后应用 QT 和 OpenCV 技术对系统进行实现。

　　参考文献