【摘 要】
:
随着图像拼接的应用范围越来越广,复杂场景下的图像拼接成为研究的热点。目前的研究方向主要分为传统图像处理算法方向与深度学习算法方向。这些算法都围绕图像拼接的基本框架进行改进与创新。图像拼接基本框架包含图像对齐、图像融合两个阶段。本文也围绕图像对齐与图像融合分别对传统图像处理算法与深度学习算法提出了改进。在传统图像处理方向,本文提出了两个改进。图像对齐模型从最初的全局单应矩阵发展为受一定约束的网格变形
论文部分内容阅读
随着图像拼接的应用范围越来越广,复杂场景下的图像拼接成为研究的热点。目前的研究方向主要分为传统图像处理算法方向与深度学习算法方向。这些算法都围绕图像拼接的基本框架进行改进与创新。图像拼接基本框架包含图像对齐、图像融合两个阶段。本文也围绕图像对齐与图像融合分别对传统图像处理算法与深度学习算法提出了改进。在传统图像处理方向,本文提出了两个改进。图像对齐模型从最初的全局单应矩阵发展为受一定约束的网格变形模型。但是在特征点分布不均匀的场景,网格变形也带来了画面扭曲的问题。针对此问题,本文提出一种几何结构约束的网格变形算法。在点特征的基础上,引入了线段特征。一方面通过线段匹配实现更精确的局部对齐,另一方面通过三点共线维持线段结构在网格变形过程中的线性,从而尽可能保持图像原始的几何结构。而在图像融合阶段,缝合线最大流最小割求解模型,从最初的基于图像像素值梯度的平滑项,发展到了基于感知的平滑项。但是对于视差较大的场景,求解的缝合线仍然可能缝合错位。为了减少错位,本文提出了一种缝合线迭代优化算法。首先引入结构相似度来定义图像块对齐程度,一方面定量地评估缝合线优劣,另一方面则能更新缝合线求解模型中的平滑项,实现迭代优化。同时考虑到人眼对纹理强弱的感知程度,本文还将自适应显著度作为平滑项的权重,进一步完善缝合线求解模型。本文将改进的网格变形算法与改进的缝合线求解算法相结合,提出基于网格变形对齐的缝合线迭代优化算法,从而提升最终的拼接质量。在深度学习方向,本文基于视频插帧网络RIFE(Real-Time Intermediate Flow Estimation for Video Frame Interpolation),提出了一种基于网格变形粗对齐与融合权重图的图像拼接网络RIFE-edge,该网络适用于一般条件的输入图像,并且能输出细节清晰的拼接图像。深度学习在图像拼接领域仍然处于起步阶段,目前为数不多具有代表性的工作为LCAnet(Video Stitching for Linear Camera Arrays)与VFISnet(A view-free image stitching network based on global homography)。但是上述两个网络均受到一定约束,不能直接处理传统算法中常用到的数据。为了搭建一个适用性更广的网络,本文首先对输入图像进行网格变形粗对齐,将对齐后的图像相互覆盖叠加,作为融合网络的输入,通过融合网络输出的融合权重图来叠加经过双向光流引导变形的图像,得到光滑过渡的拼接图像。同时为了提高拼接图像的质量,本文新增了边缘特征分支,优化融合图像的细节,并提升融合图像重叠区域的清晰度。
其他文献
转座子(Transposable element,TE)是一类可移动的DNA遗传元件,在真核生物染色体上含量丰富,可通过“剪切-粘贴”或“复制-粘贴”在基因组中实现跳跃和增殖。转座子自芭芭拉从玉米中发现之始就饱受争议,因其绝大部分已经失去活性,常被人视为垃圾序列。随着研究不断地深入,转座子的存在和功能越来越难以忽视,研究者意识到转座子不仅与生物演化密切相关,还参与多个生物过程,包括产生新基因或转录
【目的】探讨妃子笑、怀枝、桂味和糯米糍的最适宜末次秋梢成熟期和现“白点”期,为荔枝控梢促花管理提供生物学指引。【方法】于2009—2021年跟踪调查妃子笑、怀枝、桂味和糯米糍品种的关键物候期、成花枝率和坐果量,利用箱线图、小提琴图、T检验、Pearson相关等方法对数据的分布、差异显著性和相关性进行分析,并研究荔枝秋梢期、现“白点”期与成花和坐果之间的关系。【结果】4个品种共获得522组数据。桂味
颖壳作为水稻种子的重要外部器官,不但影响着籽粒的大小和品质,还起有抵御病虫害、规避鸟类猎食等重要的生物学功能。栽培稻颖壳多呈现黄色,而野生稻的颖壳通常含有黑色素并呈现黑色,黑壳性状也常被认为是野生稻的典型特征之一,但水稻黑壳向黄壳驯化的遗传机制并不清楚。为此,前期本课题组以巴利拉(Balilla)和绵恢725(MH725)为亲本,采用遗传群体构建及基因定位分析筛选到了两个与前人鉴定到的OsBh4和
多源遥感图像融合技术是指将来自多个传感器的不同种类数据进行组合来提供更全面的信息,以便于提高在应用场景中的精度。本文围绕多光谱图像融合和高光谱图像融合进行了深入研究。多光谱图像融合技术将低空间分辨率的多光谱图像(Multispectral Image,MSI)和高空间分辨率的全色图像(Panchromatic Image,PAN)融合,来获得具有高空间和光谱分辨率的MSI。高光谱图像融合技术则通常
自夸克模型提出以来,重子qqq模型对解释强子结构提供了有力的解释。夸克模型预言Δ*(Δ粒子的激发态)粒子为35种,我们对这些粒子了解的比较少,至今有一部分Δ*粒子还没有被观测到。目前实验上利用πN和γN散射数据,用多轨道分波分析的方法进行研究,寻找Δ*粒子和测量Δ*物理信息。通过研究粲偶素衰变来了解Δ*的产生和衰变机制的几乎没有。粲夸克偶素衰变是研究重子激发态的理想场所。粒子物理实验中发现的第一个
<正>随着科技的不断发展,电子产品已成为家家户户的必备品。也就是说,孩子一出生便会受到各种电子产品的吸引。因此,幼儿园进行近视防控是时代发展的必然趋势,因为幼儿的戴眼镜普遍率越来越高。通过近视防控策略,可有效解决这一问题,可以让幼儿健康地成长与发展。作为幼儿园的工作人员,作为幼儿成长路上的引路人,教师有责任与义务进行近视防控。但是,近视防控并不是说防控就能防控的,而是需要一定的方法,所以下列对近视
光合作用是地球上最重要的生物化学反应,光合作用的强弱直接影响生物的产量。水稻作为四大主粮作物之一,在灌浆期极易遭受高光强胁迫。先前的研究主要集中于光能高效吸收、传递与转化的调控过程与其分子机理,而对水稻在高光强胁迫下如何耗散过剩能量,如何启动自身的光保护机制与光修复机制的报道较少。因此,探究水稻在高光强胁迫下的响应机制对高光效育种具有重要意义。本研究以梗稻品种日本晴为受体材料,采用CRISPR/C
棉花是世界上重要的经济作物之一,棉纤维、棉籽等作为原材料在纺织、油料等领域应用广泛。棉花本身不仅是研究植物异源多倍化的模式生物,同时也是研究细胞伸长、植物基因组进化的良好模式作物。其中,陆地棉(n=2x=26,AD1)的种植面积最大,而亚洲棉(n=x=13,A2)作为陆地棉可能的祖先A0的后代,也具有重要的研究价值。根据最新组装的基因组数据,陆地棉中转座元件含量占到了64.06%,亚洲棉中该比例更
重金属镉和抗生素磺胺是畜牧业中常见的污染物,在养殖废水中经常同时存在,水体中抗生素与重金属相互作用,对水生植物产生显著的毒性,因此研究抗生素与重金属的联合污染风险在环境毒性评估方面有着重要的意义。本文研究了两种沉水植物苦草(Vallisneria natans(Lour.)Hara)和黑藻(Hydrilla verticillata(L.f.)Royle)在14天磺胺(0.1、0.5、1、2.5、
随着工农业的快速发展,大量除草剂和杀菌剂被投放到农田中。这些化学试剂随着农业用水汇入江河湖泊,将对水生生态系统造成极大威胁。硝磺草酮是近年来新兴的三酮类除草剂,铜作为各类杀菌剂的主要成分在农业中广泛使用,二者在环境中共存易造成复合污染,然而硝磺草酮和铜对水生植物的单一及联合毒性尚不清楚,在水生生态系统中的复合污染类型未知。本文利用水培法,探究水生植物苦草(Vallisneria natans(Lo