基于特征融合与注意力机制的立体图像超分辨率重建算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:mainoracle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的发展,立体图像超分辨率重建技术取得了巨大的进步。不同于单幅图像,立体图像包含左目和右目两个视图,其超分辨率重建过程不仅要考虑单目视图内的信息,还需要考虑左右视图间的互补信息。因此,如何有效利用这两种情况的信息,成为立体图像超分辨率领域的研究热点。本文在深入分析立体图像特性之后,提出了基于特征融合与注意力机制的立体图像超分辨率重建算法,实现了视图内和视图间信息的高效利用,主要研究内容如下:针对现有立体图像超分辨率算法难以有效利用视图内信息的问题,本文提出了一种多层次融合注意力网络的立体图像超分辨率重建算法。首先,该算法利用残差密集型空洞卷积模块来获取多尺度信息,并不断地进行高低频信息的融合。然后,将视差注意力机制与通道空间注意力机制相结合,通过充分挖掘特征的通道和空间信息来提升特征对齐的精度,这不仅提高了特征的区分性表达能力,还有效解决了遮挡问题。接着,利用残差密集网络和注意力机制挖掘不同深度特征的层内和层间信息,进一步丰富了特征的高分辨率细节。最后进行上采样和全局残差连接,重建出具有丰富高低频信息且立体效果更好的高分辨率左目图像。在三个基准测试集上的实验表明,该算法获得了十分优越的性能,能够重建出图像的真实细节且模型参数量较低,其在KITTI2012和KITTI2015数据集上获得的PSNR结果分别比同期算法提升了0.32 d B和0.18d B。为充分利用左右视图间信息,进一步提高立体图像超分辨率算法性能,本文在第一项工作的基础上进行了改进,提出了一种多尺度特征融合与对齐网络。首先,该网络通过反卷积将输入的低分辨率左右图像放大至目标尺寸。接着,设计了一种多尺度融合提取结构对这些放大后的图像进行处理,该结构能够在提取多尺度特征的同时,进一步捕获特征的全局上下文信息。然后,该网络又在多个尺度上进行特征对齐,通过组合使用可变形卷积对齐结构和视差注意力机制来实现更加精细化的图像配准,很好地利用了视图间信息。之后,在多个维度上对配准后的结果进行建模,实现了对特征的通道、空间和层间信息的深度挖掘。最后,把多维度建模结果和低分辨率上采样左目图像进行全局残差连接,以得到网络的超分辨率左目图像。实验表明,该网络获得的PSNR和SSIM结果较第一项工作有很大的提升,且其重建出来的图像细节丰富,具有较强的立体感。
其他文献
悬吊训练是一种新的体能训练方法,它能提高躯干核心肌群的力量,使身体保持平衡、稳定,对身体姿势和重心的控制具有积极的影响。本研究在前人对悬吊训练研究的基础上,将悬吊训练与游泳专业相结合,将悬吊干预因素应用于游泳运动员的核心训练过程中,探索游泳运动员在悬吊训练中核心力量和身体平衡相关指标的变化,为今后悬吊训练的研究提供参考。研究方法:研究采用文献资料法、跟踪调查法、数理统计法、实验法比较16周悬吊训练
学位
推动中华优秀传统文化创造性转化、创新性发展是中国特色社会主义文化建设的关键任务之一。浙江景宁县是全国唯一一个畲族自治县,其保存的畲族传统体育项目种类繁多、内容丰富,这些传统体育项目不仅有着浓郁的民族地域氛围,而且有着娱乐竞技精神。畲族体育遗产是在漫长的历史中创造和积淀下来的畲族传统体育文化,也是中华民族传统文化中的重要组成部分。在新时代的背景下对畲族传统体育遗产创造性转化,不仅有利于新时代新阶段推
学位
当前处于社会共享信息时代,团队合作成为常见工作模式,如何防止社会懈怠提升团队背景下的个体创造力也愈发重要。个体在团队创造中常常难以获得客观标准的评价,因此需要通过与团队中其他成员的表现进行比较,调整观点以适应团队规范,这种社会比较会进一步影响团队成员个体的创造力表现。在研究社会比较与创造力的关系时研究者们关注社会比较启动之后对团体创造力的影响,忽略团队中的成员个体表现。同时,以往关于社会比较影响创
学位
供养器,即指佛教出家僧尼和信众在供养诸佛或菩萨时使用到的器具,或与供养相关的器具。如有信众礼佛塔庙,并向佛供奉宝盖、缯幡、钟铃、服饰、器皿、饮食、靴履、香华乃至灯明等,并恭敬合掌,则会分别得到十种功德。故佛教信徒向寺院施舍财物、供具的行为就是在为自己和他人积累功德。佛教信徒为功德而供养,便出现了专门的佛教供养器具。文章主要对西夏图像中所绘制的供养器进行研究。首先阐述了西夏供养器与图像艺术的渊源,然
学位
我国是一个农业大国,受长期历史、地理条件等因素的影响,形成了农村地区特有的非正式制度环境,浓厚的宗族关系、血缘地缘等非正式制度因素深刻影响农村的经济发展、法治建设、基层民主建设。为了促进全面建成小康社会,国家在不同时期制定各类惠及民生的政策措施,致力于促进农村地区的经济发展,缩小城乡间的发展差距,提升人民群众的幸福感。公共政策作为一种稀缺资源,当这类资源不断在农村地区聚集时,时刻考验着农村基层干部
学位
团队情绪智力是在成员互动的基础上形成的对团队整体情绪的认知、分享、评价、规范管理情绪的能力。这种能力可以有效的让成员了解团队情绪、分享、评价,并规范团队情绪的表达,促进团队之间相互和谐发展、提升团队凝聚力。团队情绪智力在管理学、心理学得到广泛研究,但是在体育领域中研究较少。团队凝聚力在体育研究中已有众多的研究,被证实与比赛成绩具有重要的关联性。但是对于团队情绪智力与团队凝聚力二者的关系研究并没有过
学位
媒介具有天然普法之优势,法的运行也离不开媒介。法律文本和法治精神通过媒介/中介的承载变得实体化,让不同时代的人感受、了解并且运用它。不同媒介域下的主要普法渠道和方式是会有区别的,呈现的变化趋势是逻格斯域下布道式普法,印刷域下的小册子、标语式等普法,视听域下电视独话式普法以及数字域下的短视频普法。不同媒介域主导下普法媒介并不会取代之前的媒介,主要区别在于信息流通的时空性、表征符号以及信息的储存方式。
学位
中国古代诗歌是传承数千年的经典,具有极高的文化价值和教学价值。纵观各个版本的语文教材,古代诗歌一直占有较大比重。但实际教学中这些经典诗歌的教学情况并不乐观,许多语文教师的教学设计和教学方式老套,对于古代诗歌教学“教什么”和“怎么教”有着很大的困惑;学生对古代诗歌提不起兴趣,甚至畏惧,最终导致教学效果不佳。近年来,对于优秀的语文特级教师的课例研究日益丰富,也得到了许多语文教育工作者的肯定。语文特级教
学位
大数据时代,数据跨境传输是企业在国际贸易中常见的商业需求。2018年5月25日,《通用数据保护条例》(GDPR)正式生效,该条例被评价为“历史上最为严格的数据保护条例”。GDPR的“横空出世”使得涉及数据处理业务的企业“谈虎色变”,个人数据跨境传输的合规问题成为我国涉欧企业亟需关注并积极应对的问题。根据GDPR第44条之规定,我国涉欧企业做好数据跨境传输合规工作,不仅需要选择恰当的数据传输路径,还
学位
疾病是人类生存发展道路上的绊脚石,也是影响贫困群体生命健康的主要因素。医疗救助制度作为社会救助制度的组成部分,是保障弱势群体摆脱疾病困扰,维持基本生活能力的重要制度,也是实现脱贫攻坚战略目标,构筑因病致贫、因病返贫安全防线的重要保障,对社会的和谐和稳定发展具有重大意义。正因为如此,医疗救助作为一项不可或缺的制度将长期存在并发挥关键作用。经过多年的努力发展,我国已经建立起相对完善的医疗救助制度,很大
学位