基于LSTM稀疏编码与CycleGAN预测生成的光场图像编码研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:shijun3541
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
光场图像通过全光相机所特有的微透镜阵列能够对立体空间中光的完整信息进行采集,因此可从光场图像中提取出场景深度等高维信息,此类高维信息可为用户提供立体感以及空间沉浸感。光场图像的诞生为三维重建、深度估计以及虚拟现实技术提供用力的技术支持。但光场图像因其所获取大量的光线信息,其单张图像体积庞大,在存储以及网络传输中将浪费大量不必要的系统资源,故目前迫切需要一种有效的光场图像压缩编码算法用以降低光场图像的使用成本。本文将结合光场图像的结构特性以及目前如火如荼的深度学习技术,提出一种新型的光场图像编码框架,能够对原始光场图像进行有效编码。本文的研究工作总结如下:考虑到大量的冗余信息均杂糅在单张光场图像中不利于针对性的处理,故需将原始光场图像按其视点位置对像素重新排列进而获取子孔径图像阵列,从而可将原始光场图像中的空间冗余信息以及视点冗余信息拆分至该阵列的各个子孔径图像中。通过对该阵列中的图像进行观察,单个子孔径图像的图像内容即可表达原始图像的大量场景信息,并且相邻视点之间的图像内容表现出极高的相关性。故在对原始光场图像进行压缩编码时,可对其子孔径图像阵列进行拆分,仅对其中的部分子孔径图像进行稀疏编码传输,其余未经编码的子孔径图像则可通过该编码传输的部分对其进行预测生成。本文将结合深度学习技术,采用基于LSTM的图像压缩编码模型对所选取的部分子孔径图像进行稀疏编码用以消除单幅子孔径图像中的空间冗余信息,其预测生成模块则采用CycleGAN进行实现,用以模拟不同视点间细节的生成以及其主体部分的像素偏移,故基于CycleGAN的预测生成模块可被用于消除相邻子孔径图像中所包含的视点冗余。在预测生成过程中将利用已编码重建的部分作为基准模块,参考H.264/AVC及H.265/HEVC中的帧内预测思想,设定5种预测模式用以在不同的基准模块中进行选择最优的预测图像。在稀疏编码以及预测生成的思路下,本文所提出的编码框架将能够有效减少码率并保持优秀的重建质量。通过实验结果可知,本文所提的编码框架与标准编码算法JPEG及JPEG 2000相比,其低码率部分在PSNR指标及MS-SSIM指标下具有明显优势,并且其MS-SSIM数值能与主流算法HEVC相持平,因此本文所提框架能够在深度学习领域中完成对光场图像的有效编码,扩展光场图像编码的新思路。
其他文献
随着现代教育事业的蓬勃发展,我国涌现出一大批先进的教育理念和课堂模式,笔者所在的学校顺应时代发展,结合本校的实际情况,提出“融课堂”课堂模式。“融课堂”课堂模式属于高效课堂的范畴,针对日常教学中的新授课、复习课、讲评课等不同类型的课堂有特定的课堂模式和上课要求,教师日常教学需根据“融课堂”课堂模式进行。本文仅研究“融课堂”新授课课堂模式的实施情况,并通过对学生和教师的调查研究提出合理建议,完善课堂
2020年10月,国家教育部颁布了《大中小学国家安全教育指导纲要》,旨在加强大中小学国家安全教育。近年来,新冠疫情等生物安全问题频发,生物安全等新型领域安全也逐渐被人们关注和重视。在国家号召要对大中小学加强国家安全教育,增强国家安全意识、树立总体国家安全观的背景下,提升学生的生物安全素养成为刻不容缓的课题。因此,本文基于相关研究及生物学科培养生物安全素养的优势,开展了中学生物学教学中渗透生物安全教
R.Kessar和M.Linckelmann证明了:若一个块在它的极小完备离散赋值环上与其Brauer对应Morita等价或Rickard等价,则G.Navarro提出的Galois-Alperin-McKay猜想对这个块成立.因此他们提出了块之间的等价能否下降到更小的系数环上的问题.Basic Morita稳定等价和basic Rickard等价是由L.Puig提出的概念,反映着局部块之间信息.
百年大计,教育为本。教育大计,教师为本。2018年1月正式公布实施的《关于全面深化新时代教师队伍建设改革的意见》是党和国家对教师教育事业做出的顶层设计。《意见》中明确指出要大力发展教师教育,着力提升中小学教师专业能力发展,努力打造一支专业化、高素质的现代化教师队伍,搭建校级教师发展平台,组织研修活动,开展教学研究与指导,推进教学改革与创新。而要完成这一目标的有效途径之一就是加强以名师工作室等为代表
本文主要研究如下非局部抛物型方程其中Ω是Rn(n≥3)中有界且有光滑边界的区域,λ>0,1λ(p)时,抛物方程的所有极大解在有限时刻内爆破.
当今社会,教育体制的发展目标已经逐渐转向实现个人的素质教育和终身教育的需求,教育更加注重学生综合素质和个性特征的发展。同时,中小学生的减负需求有待解决,提升教育的有效性成为关键所在。随着计算机技术、网路技术与教育的深度融合,以往的班级授课制教学已经不足以满足学生的个性化发展需求,个性化学习系统应运而生,它通过对学生学习行为数据的收集和判断,为学生安排符合其知识水平的教学,提高了教学的有效性和便捷性
当前各个学科教学开展科学素养的引入,已经受到各个学科教师的重视,在目前的化学教学中,传授知识仍旧作为主要的教学方式,教师往往以更为固定的模式来进行化学知识传递,并没有深刻思考教学模式中的内容设置是否满足科学素养的培养,在这种模式培养中,教师仍旧是课堂作为主要阵地,教师更多的作为知识的传授者占据了课堂的大多数时间,而学生在接受知识的过程中比较被动,导致学生积极主动去学习、探索化学的科学素养能力不足,
本文主要讨论了一维非一致抛物方程在初值正则性较弱的情况下,柯西问题的解的存在性.我们考虑一类方程ut=(a(ux))x+b(x,ux),(x,t)∈ R ×(0,T),(0.1)其中a,b满足(1.2)~(1.5).当p>1,初值满足u0∈Wloc p 时,我们证明了方程(0.1)弱解的存在性.此外,我们也讨论了该方程的一个特例(?),(x,t)∈R×(0,T),m>1,(0.2)其中C(x)及其
教师的专业发展离不开教学反思。提高新手型化学教师的教学反思能力,对促进他们的快速成长有着重要的意义,为找出良好的对策,本文主要研究新手型与专家型化学教师教学反思能力的差异,希望能从中得到一些启发。本文主要分为五部分:第一部分:陈述了选择该课题的一些客观原因和需求,以及研究该课题的意义所在,并对该课题目前的研究情况做以概述。第二部分:主要是相关文献综述。该部分对教学反思有关的几个概念和新手型与专家型
高考化学试题主要考查必备知识、关键能力和化学核心素养。化工流程题以真实的化工生产过程为情景素材,以信息量大且信息隐蔽的特点考查学生读取信息、整理信息的能力;以考查知识覆盖面广,综合性强的特点考查学生利用双基解决问题的能力,并且在考查关键能力的同时凸显对化学核心素养的考查。所以,该类试题具有独特的命题价值以及研究价值。本研究运用了文献研究法、统计分析法、访谈法等方法。以化工流程高考真题为研究对象,从