基于复杂运动的视频去抖算法研究

来源 :中国科学院大学(中国科学院光电技术研究所) | 被引量 : 0次 | 上传用户:lainfaye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的进步和嵌入式设备的发展,便携式拍摄设备的种类变得多样化,价格也变得低廉化。然而由于拍摄人员的不专业性和稳像设备的缺乏,以及恶劣天气的影响,都会导致成像的视频出现抖动。这种抖动不仅会降低观看体验,还会对基于这些视频的后续处理分析造成不利影响。因此对拍摄视频进行去抖研究具有十分重要的应用意义,同时这也是当前视频增强领域研究热点。目前,针对简单运动和常规场景的去抖方法已经取得很不错的效果,但是这些现有算法在处理复杂运动视频时,依然会面临去抖性能下降或者失败的情况。这些复杂运动造成的问题不仅仅包括大前景遮挡和多样化运动目标引起的特征点误匹配,还包含多变拍摄环境和低成像质量视频造成的运动估计精度下降。本文针对上述复杂运动视频去抖问题进行了深入的研究分析,并分别提出具有针对性的算法。归纳起来,本文的主要工作和研究成果有如下两点:1)提出了一种结合超像素和改进K-means聚类的视频去抖算法。本算法主要解决包含多目标运动和大前景遮挡视频的去抖问题。传统基于特征点的方法在处理上述复杂运动视频时,会因为局部运动的扰动出现特征点误匹配的情况,从而影响全局运动估计精度,导致去抖性能下降。不同于大多数现有算法仅使用Random Sample Consensus(RANSAC)对误匹配点对进行剔除,本文提出了一种由粗到细的局部运动剔除方法。该方法以自适应超像素实现前景多个目标或目标不同区域、以及多个不同深度背景区域的自然分离,根据帧间前景和背景运动矢量的差异性,构建图像帧间具有一定信息关联的超像素块运动空间和特征点运动空间,采用K-means聚类实现局部运动与全局运动的分离。本文方法已经在不同类型的视频上得到了仿真验证,与近6年基于特征点和单一矩阵去抖方法相比具有更优的性能,平均结构相似性和平均峰值信噪比较原视频分别有0.24和2.31d B的提升。2)提出了一种无监督分阶段的视频去抖算法。当前传统算法在处理多变拍摄环境和低质量视频时,会面临运动估计精度下降或失效的问题,从而导致去抖性能的下降或失败。针对此问题,本文提出了重叠内容感知单应估计网络。该网络通过提出的重叠内容感知模块和重叠特征损失项来减少局部运动对全局运动矩阵估计的影响;利用卷积网络强大的学习表征能力解决低质量视频运动估计精度下降的问题,并在公开数据集中达到亚像素的精度。除此以外,多数基于约束平滑的方法使用固定权重对高频噪声进行抑制,然而因为拍摄环境和运动的复杂,达到同等平滑效果会需要更多的迭代次数,从而增加去抖时间。针对此问题,本文提出了动态权重生成网络,该网络可以根据感知的轨迹信息自适应生成权重,在处理复杂运动时能以更少的迭代次数达到传统约束优化的性能。通过分阶段训练与综合集成测试,形成基于学习机制的去抖网络模型。在稳像数据集上,本文算法取得与传统方法接近的结果,在自建困难场景数据集中,取得比传统方法更鲁棒的结果。除此以外,本文算法与其他基于深度学习方法相比,在NVIDIA RTX2060 SUPER显卡上具有更快的处理速度,可达到40.4FPS。综上,本文针对复杂运动视频去抖问题进行了深入研究,提出了结合超像素和改进K-means聚类的视频去抖算法和无监督分阶段的视频去抖算法,在公开数据集及自建数据集上进行了去抖效果验证。还对稳像视频进行了跟踪实验,进一步证明了去抖的意义。
其他文献
自适应光学系统需要足够亮度的信标来满足其波前探测精度的需求,同时受大气非等晕的限制,信标与被观测目标需处在同一等晕区内。因此在设计及分析自适应光学系统的过程中,需要对望远镜站址等晕区的范围进行测量。本论文对现在广泛采用的等晕角间接测量方法如恒星闪烁法,和测量大气廓线从而计算等晕角的MASS、SCIDAR、SLODAR方法进行了介绍与分析比较。在此基础上提出了利用自适应光学系统中的哈特曼波前传感器测
学位
随着社会的发展,成像光学系统在日常生活中随处可见,人们对光学系统成像性能的要求也在逐渐提高。根据像差理论,对光学系统的像差进行校正时,通常会增加系统的复杂度,包括增加透镜的数量和表面曲率。二元光学元件虽然被证明可以减小光学系统的复杂度,但是仍然受到材料折射率和器件厚度的限制。由超构表面构成的新型光学元件—超构透镜,由于能够以平面形状自由调控电磁波,且符合当今光学系统小型化、轻薄化和易集成的发展趋势
学位
理论研究表明,望远镜的分辨能力是由其口径大小决定的。随着生产生活需求以及研究层次的不断提高,为了更清楚、更高效地进行天文观测和研究,无数学者逐步改良望远镜结构与工艺,望远镜性能得到不断提升,在科技国防、生产生活等诸多领域发挥着越来越大的作用。受限于面型精度、加工运输、制造成本等因素,现阶段8m直径已是单镜面望远镜的口径极限,采用若干小口径的子孔径等效为一个大口径的合成孔径望远镜成像系统势必成为未来
学位
在传统光学望远镜中,望远镜观测口径的大小是影响其分辨率的最关键因素之一。在理想状况下,当观测波长一定时,口径决定了望远镜系统的探测分辨率。而实际上,受限于加工工艺、制造材料、制造成本等因素,光学系统的孔径增加会极大地提高制造成本。因此,基于多个小望远镜相干合成等效大口径望远镜的多孔径相干合成成像技术应运而生。在多孔径相干合成成像中,共相误差问题是最为关键的问题之一。共相误差的产生是由于不同孔径间带
学位
随着智能设备的普及,针对高分辨成像应用捕获并再现真实世界物体的颜色、光泽和纹理是必要的。由成像技术和光谱技术相结合的高光谱成像技术可以同时获取物体二维空间信息和光谱信息,在对地遥感、空间探测、艺术保护、农业以及其他科学和工业领域得到广泛应用。然而,传统高光谱成像技术面临的主要问题是:成像系统笨重,难以实现平面化和集成化。超表面由于其平面化结构和亚波长尺寸等特点可对光波相位、振幅、偏振等光学特性进行
学位
光谱成像探测技术结合光谱分析技术与成像技术,能同时获取目标的空间信息和光谱信息以完成对目标的探测。因具有非接触、精准探测等多项优点,光谱成像探测技术现已在天文遥感、医学诊断、食品安全检测、军事监测等多个领域得到广泛应用。然而,传统光谱成像系统却由于其系统体积较大、需要光谱扫描采样时间,导致该系统不符合小型化、轻量化、便捷化的发展趋势。为解决上述问题,学术界提出一种基于超构表面与压缩感知算法的微型光
学位
随着信息社会的发展,集成电路得到了越来越广泛的应用。光刻机是制造集成电路的核心器件,光刻机性能能否提高决定着集成电路能否朝着下一个节点发展。由于集成电路是分层的立体结构,掩模版与硅片之间的对准精度十分关键,因此光刻对准技术至关重要。为了部署先进光刻机的发展,进行高精度对准方法的研究有着重大的意义。在众多的光刻对准方法中,荷兰ASML公司应用于先进的极紫外光刻机中的SMASH对准方法对于光刻对准系统
学位
超构表面是一种超薄的人工设计的二维光学平面亚波长结构,它能使亚波长尺度空间区域内入射光的电磁振幅和相位等光学特性发生突变。超构表面的这种特性使得其在光控制方面相比传统光学器件具有更大的灵活性,且具有结构超薄、质量超轻、易于集成等优势,为高度集成化、轻量化和便携化光学系统的发展提供了全新的途径。超构透镜作为超构表面的一个主流分支,在近些年来广泛的关注和研究下,获得了很多新的优势,如大视场,宽波段等。
学位
目标检测技术是视频安防、道路交通监控等系统中的核心技术之一,通过提取图像中的关键目标特征,分析出目标的类别及位置信息。目前,基于可见光波段图像的目标检测算法已在小尺度目标检测、密集目标检测等难点上取得了突破,并已通过大型自然图像数据集证实了其有效性。然而,在光照不足、烟雾遮挡等条件下,受限于目标有效信息的丢失,这类算法仍难以取得较为鲁棒性的检测结果,严重影响全天候监测系统的整体可靠性。本文主要将可
学位
自适应光学系统中,变形反射镜是使用最频繁、应用范围最广的波前校正器,它可以实时校正动态误差。现有变形反射镜根据像差校正分为低阶像差校正变形反射镜和高密度驱动的高阶像差校正变形反射镜,以及全像差校正的组合变形反射镜,在设计研制时,可根据像差校正的要求随意调整变形反射镜结构。然而,随着自适应光学系统的不断发展,为应用于不同的场所,对变形反射镜的要求也逐步提升,设计研制阶段需考虑的因素变多,导致传统的单
学位