近年来，无人驾驶飞行器（UAV）在许多领域得到越来越广泛的应用。通过无人机航拍视频，可以方便地获取更多的静态和动态信息，掌握现场情况。帧配准、全景图像拼接、运动目标检测和跟踪是航拍视频分析处理的关键和基础。首先，我们使用 l_q-estimation 方法去除异常值并稳健地匹配特征点。然后我们利用移动直接线性变换 (MDLT) 方法更准确地找到帧的单应性，并将帧序列拼接成全景图。最后，我们在扭曲的帧上应用 5 帧差分方法来检测运动对象，并使用长期视觉跟踪方法在复杂场景中跟踪感兴趣的对象。
与有人驾驶飞机相比，无人机更小、更轻、更便宜，更适合执行危险任务。搭载视觉传感器的小型无人机是反恐、交通监控、救灾、战场监视等的理想平台。全景图像拼接、运动物体检测和跟踪是完成这些任务的关键技术。由于平台的运动，除了前景物体外，背景也在运动，因此背景的运动补偿是无人机航拍视频分析处理的必要步骤。背景运动补偿模块接收后对视频帧进行注册并生成相应的对齐图像，可以将帧序列拼接在一起以生成全景图以掌握整体信息。此外，可以通过帧减法检测运动物体，并通过跟踪模块跟踪感兴趣的物体。在本文中，我们首先提取相邻帧的 Harris 特征，然后介绍一种基于异常值去除和稳健特征匹配的 - 估计器，之后，利用 MDLT 方法找到帧的单应性。根据单应性，帧被注册并补偿平台的自我运动，并且全景由帧序列拼接。最后，使用5帧减法完成运动物体检测，并通过基于相关滤波器的视觉跟踪算法跟踪感兴趣的物体。
图像配准是利用匹配策略在两幅图像中找到对应特征点的正确位置，然后得到两幅图像之间的单应性进行配准。本文的图像配准算法包括几个部分：Harris特征点的提取和描述，用于稳健特征匹配的 - 估计器，用于估计单应性的 MDLT 方法。首先从两幅图像中提取和描述特征点，得到匹配点，然后去除离群点，对特征进行鲁棒匹配 - 估计器。最后，我们使用MDLT方法对满足图像不同部分的单应性进行加权估计，得到准确的投影模型参数来配准图像帧。
对于要匹配的图像对，我们执行Harris等特征匹配方法来确定N个初始匹配对应关系：
其中 ， 是匹配特征点的二维坐标， 如果是内点，则满足以下关系：
变换 可用 对内点匹配对最小二乘估计：
但这些点可能存在异常值，应去除异常值以正确估计变换。目前的方法通常使用两步策略或假设和验证技术（如RANSAC）来解决问题，这些方法总是非常耗时甚至无法得到合理的结果。
基于鲁棒性的特征匹配方法 -估计器直接估计与异常值的初始对应关系的转换。为了将残差向量自动分类为异常值集和内部值集，经典最小二乘损失函数对异常值敏感。 范数适合解决这样的问题，但由于观察中包含噪声，因此不可靠。通常情况下 范数被改编为最接近的凸松弛 正则化进行权衡。 估计器对于特征匹配更加健壮和有效。损失函数是
其中 是 范数的操作符。
将通过对初始特征点应用全局变换来去除异常值。
对于低空航拍视频，帧之间的视图不完全因旋转不同，也不完全是平面场景，使用基本单应扭曲不可避免地会产生错位或视差错误。Julio Zaragoza等提出的APAP(As-Projective-As-Possible)图像拼接方法假设图像的细节满足不同的单应性，并使用位置相关单应性来扭曲每个像素，使用MDLT加权估计单应性方法，可以减轻未对准和视差误差的影响。
直接线性变换（DLT）是从一组噪声点匹配中估计单应性的基本方法。将单应矩阵向量化为向量后，只有两行线性无关，令 为第 个点匹配计算的 LHS 矩阵的前两行。对所有 垂直堆叠 到矩阵A。
那么优化目标是
整个图像只使用一个单应性重建 用于翘曲。
通过从加权问题估计单应性来改进MDLT方法，
权重 给更接近 的第 个点匹配给予更高的重要性。
为了防止估计中的数值问题，他们用一个在0和1之间的小值 来抵消权重。
计算每个像素的单应性是不必要的浪费。因此，我们将图像均匀地划分为多个单元格的网格，并将每个单元格的中心作为 。
将航拍视频帧全景拼接后，就可以得到大尺度场景的静态图像，掌握整体信息。
首先，我们使用单应性扭曲要拼接的两个帧，将像素映射到全景中的位置，依次拼接帧，然后融合两个扭曲的图像以避免在接缝线附近出现正面差异。通常，相邻帧的重叠率，在实际应用中，我们根据移动速度选择一定时间间隔的帧进行拼接，可以降低计算复杂度。对于较早的拼接图像，我们只选择最后一帧而不是整个拼接图像来提取特征点，也是为了计算速度。
对于对齐的帧，采用改进的5帧差分法检测运动目标。传统的3帧差分法可以检测出物体的基本轮廓，但轮廓总是不连续的，物体的重叠不易检测。根据帧差分法的理论，通过多帧差分的信息融合可以用于提取更完整的运动对象。5帧差分法可以部分克服3帧差分法的不足。对于相邻的 5 个帧 ，我们首先使用中值滤波器去除椒盐噪声，然后分别对中间帧和其他4帧进行差分运算。结果如下：
在对差分结果进行滤波后，我们引入Otsu动态阈值分割方法获得二值图像，然后使用“与”操作来抑制对象重叠问题。
然后我们在 和 上使用“或”操作以避免在对象轮廓中带来孔洞。
二值图像也可能有噪声和小孔，这可能会导致错误的对象边界框。最后，可以通过形态学腐蚀和膨胀来掩盖运动物体区域，去除噪声并填充孔洞，从而获得物体的位置和尺度。
运动物体检测步骤会检测到多个物体区域，我们只选择一个感兴趣的目标，使用基于相关滤波器的长期视觉跟踪算法对所选物体进行跟踪，以获得目标的位置和尺度。实时对象。跟踪器由检测操作中检测到的边界框初始化。
基于相关滤波器的长期视觉跟踪算法在核相关滤波器跟踪器的框架下，集成了定向梯度直方图、颜色命名和强度，创建了鲁棒的对象外观模型。在随后的帧中，可以通过分别最大化平移滤波器和尺度滤波器的相关性分数来估计对象的新位置和尺度，并通过新的位置和尺度更新滤波器。同时，我们实时检测跟踪状态，并在跟踪失败的情况下使用在线CUR过滤器重新检测对象。该算法对于长期视觉跟踪的复杂场景具有鲁棒性。跟踪流程图如图1所示。
实验中的数据集选自DARPA提出的身份视频验证（VIVID）公共数据集中的航拍视频数据。这些数据集包括纹理较少和纹理良好的视频的背景。我们为我们的实验选择了两个典型的视频egtest01和egtest05。分辨率为640x480，帧率为30fps。实验在MATLAB R2016a 中实现，在 Intel Core i5-7300HQ、25GHz CPU、8GB RAM 计算机上。
我们首先提取待配准的2帧中的Harris特征，利用描述符的欧氏距离进行粗匹配，然后使用 估计方法来去除异常值。最终匹配结果如图2所示。
从图2可以看出，无论是在纹理较少还是纹理良好的背景场景中，特征点都是均匀分布的，并且点主要集中在背景中，这有助于获得准确的配准结果。
我们使用MDLT方法根据匹配的特征点获得2帧的变换，然后对图像进行扭曲，对参考图像和扭曲图像进行拼接和融合。最后，将帧依次拼接在一起，得到如图3所示的全景图。
帧配准后，我们使用5帧差分法得到差分结果，然后去除细方噪声，做形态学运算得到物体区域，最后可以得到运动物体的位置和尺度区域的边界框，如图4所示。
跟踪算法可以在完全遮挡或视野外的情况下更新对象的比例并重新检测丢失的对象。图 5显示了不同帧中的跟踪结果。
我们已经开发了一些基于小型无人机平台的航空侦察关键图像处理算法的实现。算法包括注册视频帧，使用帧差异进行运动物体检测，将帧拼接成全景图，跟踪检测到的物体之一。实验结果表明，所提出的方法在纹理较少的背景和纹理良好的背景场景中都可以很好地进行配准、拼接、检测，以及在复杂场景中进行跟踪。
vr全景视频怎么制作
航拍全景三部分:前期制作，后期合成，分享发布一、前期拍摄。设备：航拍飞行器（如精灵系列，悟，零度等）首先飞机需要悬停高度在50-120米，水平拍摄一圈约八张，垂直俯视拍摄一张，然后以45度角往下拍摄一圈约八张。注意要点：1悬停稳定保持不变2拍摄照片之间要有百分之四十之百分之四十五画面之间重合。三个角度共拍摄17张照片，后期合成，软件：PTGui、photoshop打开PTGui点击加载图像，导入航拍的照片；点击对准图像，自动合成全景图；点击创建全景图；设置格式和品质建议设置为百分百，指定全景导出位置，当然也可以使用默认地址；点击创建生成全景图。使用PTGui自动合成的照片由于飞机拍不到天空的画面所以需要在地面拍摄一张或者网上找一张全景图，需要使用photoshop进行调色填充补天，最终完成2:1的整张全景图。
这个过程主要是操控无人云台控制拉杆进行全景拍照，具体的操作方法为：选择合理起始参照目标——选择合理的云台仰角(以控制画面1/3带有天空，2/3带有地面物体即可)——操作无人机云台进行第一圈环照(也就是360度旋转拍照，以后一张照片与前一张照片有1/4画面重叠为准，连续拍照拍完一周)——将无人机云台仰角往下调(以上个视角与下个视角重叠1/4为度)，进行第二个仰角环拍(具体方法同上一步)——将无人机云台仰角往下调(以上个视角与下个视角重叠1/4为度)，进行第三个仰角环拍(具体方法同上一步)——如此往复，直至把整个画面全部拍摄完毕。
如何进行航拍全景摄影
VR全景视频的制作流程参考如下：
准备材料：相机、三脚架、存储卡、相机电池、鱼眼镜头、快速加载板、电脑。
1、拍摄全景照片。采用相机、三脚架、存储卡、相机电池、鱼眼镜头、快速加载板等材料来拍摄VR全景照片，需要摄影师高超的拍摄技巧。如果没有专业的指导，建议提前一个月的时间去摸索了解设备，这是VR拍摄重要的准备一步。
2、拼接全景图。照片拍摄后，除了航拍可以直接生成2:1的全景图外，相机拍摄的照片大部分都是6面图像，需要通过软件手动合成。建议使用马赛克处理软件，可咨询专业的照片处理人员了解。
3、修图打磨。全景合成后可以直接观看，但还是需要后期处理才能出大片。这是一个技术和审美的步骤，需要专业的艺术家来完成作品。全景的质量很需要去掉地面明显的三脚架、不规则的地方等缺陷。
4、发布全景图。发布全景图也有讲究，现在的电脑和手机都无法在720直接浏览全景必须使用处理器。可网上了解一些免费全景系统平台，将全景图在线上传到系统平台后，可以在电脑和手机上查看全景图。
VR全景的未来发展展望
现阶段VR全景的技术仍然不够成熟，无法真正的为人们创造出一个难以区分真假的虚拟世界，但相信随着感官刺激技术的不断创新之中。
计算机软件算法能力不断强大的推动之下，vr全景技术也会迎来更好的发展良机，未来人们翘首以盼的虚拟现实世界，也许将会是VR实景技术的下一个发展跑道。VR全景在人们生活中的应用无处不在，从虚拟场馆的展示，到全景视频直播的使用，都是这项技术为人们带来的成果。
1、拍摄地面全景最重要的一步就是节点的控制，这一点在后续文章中会单另一章详细阐述相机节点的调节方法。简而言之就是，把相机装上全景云台后并不是相机中心就是全景节点，一般都在镜头上。很多人拍出来合成后总是有接缝或者断点就是因为节点没有找对。
2、 建议使用HDR(包围补偿曝光)来拍摄，因为在室内时灯光明暗差别会很大，三张补偿曝光组合会更加准确的描绘室内景物。
3、 在拍摄前需要确定拍摄地点的灯光情况，360度若是明暗曝光反差过大则需要对拍摄地进行调整，可以视情况补偿曝光或者压低亮处曝光
4、 拍摄时的拍摄张数需要根据相机参数和镜头来确定，但归根结底是要保证每张照片都会与左右上下有不低于30%的重合度。
以上就是关于无人机视频全景拼接，移动物体检测和追踪全部的内容，包括:无人机视频全景拼接，移动物体检测和追踪、高清全景航拍的流程是怎么样的、vr全景视频怎么制作等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！
