基于深度学习的全景视频超分辨率算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:lhm0510
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像和视频的超分辨率是当前计算机视觉领域的经典研究问题,它的研究进展对推动社会进步具有重大意义。其中,视频超分辨率算法除了需要恢复空间上的信息外,还要维持帧与帧之间的时间一致性。当前基于深度学习的视频超分辨率技术已经取得了长足的进步,性能远胜于传统的超分辨率方法。然而,本文发现当前的视频超分辨率算法针对的内容都是一般格式的普通视频,而对于作为虚拟现实的内容载体的360°全景视频则没有相关研究工作。随着第五代移动通信技术的发展,过去受限于网络带宽的虚拟现实将得到迅速发展,相应的高质量全景视频的需求也会迅速增加。因此本文以深度学习技术为基础,设计了适用于处理全景视频的超分辨率算法模型,主要做了如下研究:1、为了对整个视频超分辨率领域有一个整体的认识以更好的设计算法,在第三章中,对自深度学习兴起以来主流的视频超分辨率算法进行了概述,以各方法利用帧间信息方式的不同对现有的方法进行了分类和总结,最后对当前视频超分辨率所面临的挑战以及未来研究趋势进行了阐述。2、为了处理全景视频的超分辨率,第四章提出了一种全新的全景视频超分辨率算法模型,由于当前没有相关的研究工作,没有公开数据集可获得,因此本文从互联网上收集了大量的全景视频数据,经过处理后得到Mi G全景视频超分辨率数据集,然后基于全景视频的特点,本文提出了一个加权的均方误差损失函数。在网络结构上,本文基于视频超分辨率一般框架,设计了一个单帧和多帧联合的视频超分辨率网络,同时引入对偶学习机制约束超分辨率的解空间,以取得更好的超分辨率结果。3、为进一步改善算法性能以更好的投入实际应用,本文提出了一个更加轻量的全景视频超分辨率模型,引入了在复杂度不增加的情况下提升性能的自校正卷积,同时本文还设计了一个更加轻量且高效的残差密集块。以上算法的系统性实验均在所搜集的MiG全景视频数据集上进行。实验结果表明,本文提出的算法取得了非常优秀的性能表现。
其他文献
随着"双减"政策出台,学校全面展开课后服务"5+2"模式。如何让上了一天课颇感疲惫的学生再次焕发生命的活力,让期盼父母略显焦躁不安的学生安然自若?除了进行必要的学科辅导,合理开发和利用学校特色课程不失为一种好的选择。乒乓是我国的"国球",它既是一种技能,也是一种课程,更是一种文化。无锡市花园实验小学以"乒乓"课程为载体,深刻挖掘乒乓运动及乒乓文化的育德、健体、启智、怡情功能,从感性到理性,从
期刊
网约车共乘服务已经成为了缓解出行高峰期城市交通阻塞和降低空闲时间段网约车空载率的有效解决方案。目前,滴滴出行,Uber等热门出行软件都在提供网约车共乘这项服务,这项服务在城市的有效推行,在保持原有网约车数量不变的前提下,为更多的乘客提供出行服务,以此缓解了网约车供求不平衡的压力。现有的共乘服务中,首先乘客需要预定乘车服务,然后系统会为该项定单分配相对最优的网约车解决方案并规划最佳路线,由此可以看出
随着无人驾驶技术的发展,自适应巡航、自动泊车等很多智能化的技术开始应用在汽车上,为人们的驾驶带来更多便利。在驾驶过程中,人们必须要正确的按照交通标志的指示行驶,以避免造成交通违章。但是人类总会出现疏忽,错看交通标志或不按交通标志行驶,从而造成违章,甚至发生交通事故。智能化的交通标志识别(Traffic Sign Recognition,TSR)技术已成为众多车企研究的方向。自然条件下,由于道路环境
量子计算在大数分解以及数据搜索方面表现出了超越经典计算机的实力,引起了研究者的广泛关注,也是量子力学中热门的研究方向。人工智能的算法主要建立在多层神经网络的基础之上。为了应对日益增长的网络复杂性和内存要求,希望可以对这些强大算法的运行方式和结构进行改进。量子计算强大的并行计算能力和希尔伯特空间巨大的存储能力有望可以比任何经典计算机更高效的解决这些问题。当前,量子机器学习以及深度学习技术成为了量子计
在学术论文搜索中,根据作者姓名搜索是一种常见的搜索方式。但由于重名现象的严重性,当用户搜索某一姓名时,系统会返回所有该姓名的不同人的学术论文成果,用户还需自行筛选想要查询的信息,这种现象称为人名歧义问题。人名歧义问题影响着检索的质量,也不方便人们快速了解某位学者的所有研究成果,因此,人名消歧问题一直是国内外学者研究的热点。本文选题来源于企业实际项目,项目背景为公司需要给客户提供医生洞察,其中包括医
现场可编程门阵列(Field Programmable Gate Array,FPGA)自出现以来,依靠其设计周期短、灵活性高等特点,迅速成为集成电路芯片行业的典型代表,一直被使用在通信领域、生物领域、图像视频领域等高速计算应用中。伴随信息时代发展,如今深度学习异构加速、人工智能等热门领域对FPGA的需求量也越来越大。随着半导体工艺和微电子产业发展,FPGA集成规模达到新的高度,嵌入式DSP(Di
为了解陕西省煤矿企业职业卫生管理现状,对陕西省内23家中大型煤矿企业进行了职业卫生管理现场调查。调查发现,职业卫生管理中职业病危害因素日常监测、职业病防护设施、职业病危害应急救援、职业卫生档案建立、个体防护用品等方面存在明显不足。在详细分析各方面具体问题的基础上,针对存在的问题提出了相应的解决对策,能够为完善陕西省煤矿企业职业卫生管理提供一定指导。
海战场中舰船面对的最大威胁便是反舰导弹,施加干扰以迷惑反舰导弹攻向其它位置是目前为止对舰船最有力的保护措施,各种单一干扰样式的研究已经趋于成熟并且在实战中获得良好的效果。但是随着反舰导弹雷达导引头技术的飞速发展,现代导引头已经可以抵抗大部分的干扰措施,传统的电子干扰手段无法满足保护舰船的需求,对新干扰样式的研究势在必行。本文针对传统单一干扰的干扰效果不佳问题,在单一干扰的基础上研究了针对反舰导弹的
共享单车的出现为人们日常出行提供了便捷的服务,也为城市交通服务带来了新活力。但是在实际使用中,由于一些不可避免的原因,常常会发生站点没有可用单车或车桩的问题,站点间的单车资源经常需要重新分配和平衡。站点经常发生的短缺现象,使站点集群更能体现出人们真实的用车需求,因此,对站点集群用车需求的准确预测,以及最大程度地满足站点集群的用车需求对于充分利用系统中的单车资源有着不言而喻的意义。然而,站点集群对系
随着遥感和计算机技术的快速发展,大批高分辨的对地观测卫星应运而生,提供了海量优质的遥感数据资源。不同于拍摄距离较近的一般图像,遥感图像具有视野范围大,数据综合性强等优良特性,在环境监测、资源勘查、区域规划等领域有着广泛的应用。遥感图像作为对地观测的主要手段之一,研究如何快速准确地提取出其中的有效信息并加以利用,有着重要的意义。由于本身的特点,图像中常常包含数量繁多的小目标和密集场景,同时存在目标形