复杂场景下红外与可见光图像配准算法研究

来源 :中国科学院大学(中国科学院光电技术研究所) | 被引量 : 0次 | 上传用户:soaringroc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
红外成像传感器具有探测距离远,可穿透烟雾及可昼夜工作等优点,但红外图像体现物体细节信息的能力较弱;可见光图像分辨率较高,包含丰富的纹理细节信息,但是易受到光照等天气条件的影响,两种图像具有良好的互补特性,对二者进行综合分析可提供更详细的图像目标信息。而在综合分析这两种图像前,需进行稳定可靠的图像配准,已有的红外与可见光图像配准方法对分辨率差异大、图像较模糊和低图像质量等复杂场景下的图像数据配准性能降低,存在配准精度低、鲁棒性差等问题,难以满足广泛的应用需求。因此本文研究了复杂场景下的红外与可见光图像配准方法。本文主要研究内容如下:1.阐述了红外与可见光图像的成像特点,分析了复杂场景下这两种图像配准的难点,并对已有的主要图像配准方法进行了梳理介绍。2.针对现有方法对存在分辨率差异且成像质量较差的红外和可见光图像配准误差较大的情况,提出了一种结合滚动引导滤波和相位信息的红外与可见光图像配准方法。由于现有方法通常使用高斯滤波构建尺度空间图像实现尺度不变性,易导致图像边缘弱化,进一步损失细节信息,而滚动引导滤波具有良好的边缘保持能力,因此提出利用滚动引导滤波建立尺度空间;为了在低分辨率较模糊图像上提取充足数量的显著特征点,改进相位一致性模型使其对模糊图像结构特征定位更准确,在改进相位一致性的最大矩上提取图像的显著特征点。对于在较高分辨率的可见光图像上检测到的特征数量远多于红外图像,存在无效特征点导致匹配耗时的情形,常用方法是根据特征强度过滤特征,易导致特征聚集在纹理信息丰富的区域,提出利用K-means聚类算法过滤可见光图像的特征点,保留空间分布更均匀的特征;最后为抵抗红外与可见光图像间非线性灰度差异的影响,提出利用多方向的Log-Gabor滤波响应结果和相位一致性响应值构建最大值索引图,在两个索引图上分别进行特征描述再合并构建新的特征描述符。实验结果表明所提算法具有更高的配准精度和普适性,在公开图像数据上配准的平均RMSE在1.5像素以内,在实际工程应用图像上的配准效果也优于对比算法。3.针对实际工程应用场景中红外与可见光图像分辨率、清晰度均存在较大差异,且图像中背景信息强、目标信息弱的情况,只进行一个阶段的配准依然存在较大的配准误差。为解决此问题,提出了基于红外显著性图和三维特征信息的图像精配准方法。由于红外图像目标区域纹理细节弱,现有方法在目标区域几乎无法检测到特征,对配准效果产生影响。因此提取红外图像的视觉显著图并将其叠加到原始红外图像上,增强其中的弱纹理目标信息,为实现图像的精配准奠定基础。之后综合考虑精配准阶段的耗时与精度需求,利用图像在多个方向上的一阶及二阶梯度信息构建三维特征信息描述符,并借助FFT算法在频域对描述符进行SSD相似性度量实现图像精配准。实验结果表明所提算法进一步减小了配准误差,对存在10倍以上分辨率差异的低质量红外与可见光图像实现了配准,且与初始配准结果相比,对工程应用图像配准的RMSE下降了约0.4像素。最后利用基于NSCT变换的图像融合方法对所提算法配准后的图像进行融合,验证了所提配准算法对融合应用的促进作用。
其他文献
目标检测技术是视频安防、道路交通监控等系统中的核心技术之一,通过提取图像中的关键目标特征,分析出目标的类别及位置信息。目前,基于可见光波段图像的目标检测算法已在小尺度目标检测、密集目标检测等难点上取得了突破,并已通过大型自然图像数据集证实了其有效性。然而,在光照不足、烟雾遮挡等条件下,受限于目标有效信息的丢失,这类算法仍难以取得较为鲁棒性的检测结果,严重影响全天候监测系统的整体可靠性。本文主要将可
学位
自适应光学系统中,变形反射镜是使用最频繁、应用范围最广的波前校正器,它可以实时校正动态误差。现有变形反射镜根据像差校正分为低阶像差校正变形反射镜和高密度驱动的高阶像差校正变形反射镜,以及全像差校正的组合变形反射镜,在设计研制时,可根据像差校正的要求随意调整变形反射镜结构。然而,随着自适应光学系统的不断发展,为应用于不同的场所,对变形反射镜的要求也逐步提升,设计研制阶段需考虑的因素变多,导致传统的单
学位
随着科技的进步和嵌入式设备的发展,便携式拍摄设备的种类变得多样化,价格也变得低廉化。然而由于拍摄人员的不专业性和稳像设备的缺乏,以及恶劣天气的影响,都会导致成像的视频出现抖动。这种抖动不仅会降低观看体验,还会对基于这些视频的后续处理分析造成不利影响。因此对拍摄视频进行去抖研究具有十分重要的应用意义,同时这也是当前视频增强领域研究热点。目前,针对简单运动和常规场景的去抖方法已经取得很不错的效果,但是
学位
针对大气湍流在时间和空间上的随机扰动,自适应光学系统以实时探测、实时校正的方式补偿波前畸变,提高光学系统成像分辨率,改善成像质量。系统在实际控制中存在2~3倍采样周期的时间延迟,波前畸变校正产生误差,限制控制带宽。而对暗弱目标的观测,需要附近有足够亮度的导引星提供实时的湍流波前畸变信息,但保持良好校正效果的区域很小。因此,本文结合大气湍流特性和自适应光学控制系统工作原理,对时间域和空间域的波前畸变
学位
运动平台上光电设备配备可见光电视、红外热像仪等多种成像方式获取目标图像信息,又因为其高机动性、高时效性以及高经济性等优点,被广泛应用于海上救援、环境测绘、森林检测和军事侦察等民用或者军事领域。成像质量是衡量光电设备性能的最重要的指标之一。随着科学技术的不断发展,限制成像质量最主要的因素不再是光学系统或者电子系统,而是光电设备工作环境中的振动。振动分为线振动和角振动,其中角振动对成像质量的影响远远大
学位
目标跟踪作为计算机视觉中的一项关键基础任务,以其重要的基础理论价值和广泛的应用需求一直以来备受关注。由于目标在视频序列中的一系列变化,如遮挡,形变,光照变化等,使目标跟踪长期面临着巨大的挑战。为克服这些挑战,随着机器学习与人工智能的快速发展,很多结合智能技术与目标跟踪的算法被相继提出推动了目标跟踪的发展,使其日益成为研究热点。目前,在深度学习领域中,主流的跟踪算法采用孪生网络的范式,通过模板与搜索
学位
根据瑞利判据,通过光学系统的光束波长一定时,望远镜的分辨率随着系统口径的增大而提升。然而,一味地增加系统口径会带来巨额的成本压力,同时受制造技术、系统装调及有效载荷等方面因素制约,传统单孔径望远镜很难继续发展突破。合成孔径成像技术在这种背景下应运而生,通过多个分离镜面按照一定排布形式达到等效于大口径光学系统的成像能力。但是随之带来的共相误差必将是导致其高分辨成像性能受阻的关键因素之一,因此共相误差
学位
随着人类探索太空的脚步不断前进,越来越多的航天器、卫星等探测器被送入太空,星敏感器作为一种高精度空间姿态测量仪器,是航天器上必不可少的姿轨控仪器之一。随着半导体集成器件的发展,航天用器件也向着高度集成化、高速化的方向发展,导致航天器载电子设备内外电磁兼容性环境愈加复杂,再加上太空复杂电磁环境影响,星敏感器的抗外界电磁干扰和对外电磁干扰等EMC(Electromagnetic Compatibili
学位
目的 探讨股骨近端防旋髓内钉(PFNA)内固定术对老年骨质疏松性股骨粗隆间骨折患者血清Ⅰ型前胶原氨基末端前肽(PⅠNP)、Ⅰ型胶原羧基端肽β特殊序列(β-CTX)、甲状旁腺素(PTH)水平的影响。方法 以随机数字表法将2018年1月至2021年12月盐城市第三人民医院收治的60例老年骨质疏松性股骨粗隆间骨折患者分为对照组(接受人工股骨头置换术治疗)、研究组(接受PFNA内固定术治疗),各30例。两
期刊
目的 比较PFN和PFNA-2治疗骨质疏松性不稳定型股骨粗隆间骨折患者的临床疗效及预后。方法 随机选取2017年5月~2020年5月辽宁省金秋医院骨科收治的骨质疏松性不稳定型股骨粗隆间骨折患者120例作为研究对象,随机分为PFN组和PFNA-2组,每组各60例。PFN组给予PFN内固定治疗,PFNA-2组给予PFNA-2内固定治疗,比较两组患者的围术期指标、并发症、髋功能、骨代谢指标和远期随访情况
期刊