基于卷积神经网络的像素级图像融合

来源 :吉林大学 | 被引量 : 0次 | 上传用户:wanwan1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像融合是一种提取多张源图像的有效信息并组合为一张融合图像的算法,它为计算机的后续处理及人为观察提供了便利。随着相关技术的发展以及图像的海量产生,图像融合可以应用的领域也较为广泛,例如医学图像的多模态融合、摄影领域的多焦距图像融合、遥感领域的全色图与多光谱图像的融合等。与此同时,卷积神经网络(CNN)作为深度学习领域的主要方法,解决或改进了图像领域的诸多问题并且取得了不俗的成绩,例如图像的分类、分割、探测等。目前也有一些基于深度学习的图像融合算法取得不错的结果,在一些指标上超过了传统方法,但是和其他的融合算法比较,其融合图像的细节、边缘及纹理信息有待改进。因此,针对多焦距图像融合问题,本文提出一种基于离散小波变换(DWT)和卷积神经网络的融合算法。该算法结合空域算法和变换域算法的优势,利用DWT把图像分解为低频子带(低频图像)和不同方向的高频子带(高频图像)。针对不同的频率子带,CNN产生不同的决策图,充分发挥频率图的特点。其中低频子带被用于探测聚焦区域,确保判断聚焦区域的准确性;高频子带被用于挑选图像细节信息,例如边缘、纹理等,这使得融合图像在细节方面得到进一步的改进。而且CNN在本算法中充当了自适应的融合规则的角色,替代了传统算法中的人为预先设定的融合规则,进一步提升了融合图像的质量。本算法一共分为五步:第一步对源图像进行小波分解,得到不同方向的频率图。第二步,把这些频率图送入已经训练好的CNN网络,不同的频率图分别得到更具有针对性的权值图。第三步,对权值图进行后续操作,包括修正的拉普拉斯和(SML)、导向滤波(GF),从而得到最终的决策图。第四步,频率子带根据各自的决策图进行融合。第五步,把融合的频率子带进行小波重构得到融合图像。为了验证算法的有效性,本文对实验结果进行了主观评估和客观评估。其中主观评估指通过人眼的观察和判断,评估融合图像的质量;客观评估指的是利用图像指标衡量融合图像的质量。为了验证算法的稳定性,本文测试了20组多焦距图像,计算了其客观评估的指标分数的均值和标准差。最终两种评估表明本文算法优于其余9种对比算法。此外,算法处理三张及更多源图像的策略、CNN被用在不同的变换域和算法的运行时间也在本文中被讨论和分析。
其他文献
ZK镁合金作为一种重要的变形镁合金已经在许多领域得到了实际应用,稀土元素在改善其力学性能和变形加工性能方面的作用也得到了许多研究者的共识。但目前所开展的相关研究中,
在图像获取过程中,由于传感器的热效应等原因影响,最后获取的图像无法避免的都会包含一定程度的噪声,这其中包含泊松噪声,条带噪声等等。而图像去噪作为计算机视觉底层的图像处理任务,一直是计算机视觉中经久不衰的研究热点。一方面是由于其在计算机视觉底层任务中不可或缺的地位和与其他底层任务(如去模糊等)极大的相关性,另一方面是其作为中上层图像处理任务(如检测分割等)的数据预处理步骤,能够极大地保障和提升相关任
主动式光电跟踪系统属于共光路成像探测,除了常规的加工装配误差、机架抖动等因素会影响系统的探测能力之外,光学系统通道内热晕和热对流的存在,光学元件镜面热变形,大气湍流等也会对系统探测光束产生强干扰,使系统包含有离焦、球差、像散、慧差等低阶大幅值像差,严重影响了系统的探测能力。基于共光路成像探测过程中这些强干扰的存在,本文以相位差波前探测技术为基础,深入研究在低阶大幅值像差干扰条件下,从优化算法方面提
“旌”的原义为旗帜,后引申为表彰。“表”是指动物的皮毛表面,有表露、显现的意思。“旌表”后来逐渐发展成表彰、表扬的意思。旌表制度是一种表彰制度,表彰的主要对象有义
高等教育的普及化导致教育需求的不断增加。面对空前的高等教育需求,政府与社会合力形成了较为完善的高等教育体系。即使如此,需求仍然是研究教育的重点,尤其是在高等教育扩
与未发芽糙米或精制白米相比,发芽糙米包含许多生物活性和健康有益成分。本论文用反相高效液相色谱或高效液相色谱-质谱联用法,研究比较糙米、白米和发芽糙米中的活性成分,尤
焦虑是人和动物在面临危险情境时共有的情绪体验,是对不可预期威胁事件的防御反应。已有大量的研究表明不可预期的威胁刺激是诱发焦虑情绪的关键因素。但是,目前相关研究主要集中在可预期和不可预期的威胁刺激对焦虑情绪的影响是否存在差异,尚未有研究针对可预期性对焦虑情绪影响的作用机制进行系统考察。本研究主要探讨了不同可预期程度的威胁刺激对个体主观焦虑感的影响,以及可预期性的两个子特征-发生概率的高低和随机性对个
植物纤维作为一种高分子生物质材料,具有广泛的来源和低廉的成本,在水污染控制领域的应用前景广阔。榕树气生根(BARs)作为一种废弃的生物质资源,具有充足的供应量及作为环境
本文主要研究稀土溶液浸泡预处理对20CrMnTi钢等离子体渗氮的组织与性能的影响,开发一种新的稀土催渗工艺。本文采用稀土溶液浸泡的方法对试样进行预处理,再进行不同温度的渗
水稻是我国的主要粮食作物之一,保障水稻的稳定生产和稻米的安全供应对确保国家粮食安全和社会稳定具有十分重要的作用,本文针对水资源短缺、水环境污染、水氮利用效率低等限制水稻可持续发展的实际问题,将具有持水保肥能力的天然斜发沸石引入到水稻生产系统中。首先在常规淹灌稻田中进行大田裂区试验,主区为氮肥量(N_0,0 kg·ha-1;N_1,70 kg·ha-1;N_2,140 kg·ha-1和N_3,210