基于深度学习的光场图像压缩算法研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:ansunyou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着三维重建、三维显示技术的飞速发展和日趋成熟,光场图像的研究越来越受重视。现有光场图像采集装置主要是采用空间复用技术将光线角度信息与空间信息记录在二维图像传感器上。为了获得光线的角度信息,光场采集装置存储的图像信息是普通相机的数百倍,这给光场图像的存储和传输带来了极大的不便,因此对光场图像压缩的研究变得迫切而有重要意义。本文对目前主流的光场图像压缩方法进行梳理,确定了光场图像压缩的主要研究方向,在基于视频编码的光场图像压缩方法的基础上进行研究并提出了更加高效的光场图像编码方法,主要贡献如下:首先,提出了一种基于尺度不变特征变换描述子排序的光场图像压缩方法。常见的排序方法有蛇形排序、回形排序等,但这些方法并没有充分利用光场子视图之间的相关性。为解决这一不足,本文通过计算视图的尺度不变特征变换描述子的差异来度量视图之间的相关性,通过差异的大小对子视图进行排序。其次,提出了一种基于联合多分支空间变换网络和生成对抗网络的光场图像压缩模型。将全部光场子视图分为编码部分和未编码部分,未编码部分的光场子视图利用邻域的编码部分的子视图重建。提出一个基于生成对抗网络的重建模型合成未编码部分的光场子视图,在只压缩部分视图的基础上提高光场图像的编码效率。分析和研究了生成对抗网络的基本模型与训练算法。针对学者目前提出的一些改进的生成对抗网络的研究,将WGAN-gp应用到光场子图像重建模型中。空间变换网络对于图片的平移、缩放、旋转以及其它几何变换有扶正和对齐功能,通过多分支空间变换网络将输入的子视图变换到待重建的子视图的视角,从而获得与待重建子视图更相似的子视图。然后将变换后的子视图集作为生成对抗网络的输入,得到最终重建的当前视点的子视图。实验证明该模型可以显著提高解码后重构图像的质量,从而提升了压缩效率。最后,提出了基于子视图质量增强方法的光场图像压缩模型。该模型提出了一个子视图质量检测器对输入的子视图质量进行检测。对于低质量子视图,设计了一个多视图质量增强模型,低质量子视图通过相邻的高质量子视图进行质量增强,多视图质量增强模型首先通过视差补偿子网对视差进行补偿,随后质量增强子网通过补偿的高质量子视图来减少低质量子视图的压缩伪影。对于高质量子视图,同样通过相邻的高质量子视图来减少压缩伪影的影响。实验结果验证了这一方法在提高压缩光场子视图质量方面的有效性和通用性。
其他文献
近年来,RGB-D传感器由于其实时性强、同步性好等特点被广泛用于室内盲人辅助行走领域。通过对现有的基于RGB-D的导盲系统研究,发现这些系统通常直接对原始深度图像进行处理,
互联网的发展和普及,加快了信息化的步伐。随着信息化时代的到来,催生了网络购物。凭借着其方便快捷的独特优势,网络购物逐渐被消费者认可,不仅逐渐走进人们的生活,更成为了日常生活中不可缺少的一部分。网购不仅改变了人们的消费方式,也改变了传统的消费观念。而在2009年以前,网络购物和网络消费虽然逐渐流行,但其影响力和规模比较有限,发展速度较为平缓。但2009年天猫(当时叫淘宝)双11上线以后,网络购物的规
党的十八大以来,习近平总书记多次强调要增强治国理政的历史思维,注重学习党史国史,就历史问题发表了一系列重要讲话。在党史学习教育动员大会上,习近平总书记首次提出"树立
乡村振兴是党的19大作出的重大决策部署,是2020年决胜全面小康社会的关键。抓好农业稳产保障粮食安全和农民持续增收是乡村振兴的重要任务,实现这一任务必须依靠科技和科技人才,人才是乡村振兴的第一资源,科技人才是乡村振兴的领军人物。培养一批素质优良的农业科技人才队伍对建设农业强国具有重大现实意义。本文以乡村振兴战略为背景,以农业科技人才培育为具体研究内容,将农业科技人才发展的困境分为两类:农业科技研究
地震是一种严重的自然灾害,在我国乃至全世界范围给人类生命与财产安全带来极大的威胁。地面重力观测技术受观测环境条件所限制,数据量与动态更新能力不足,无法满足地震监测的需求,而GRACE重力卫星使空间大尺度探测地震重力变化成为了可能,为那些条件恶劣,环境多变,陆地测量不易到达的地方提供了新技术。针对现有提取地震重力变化信号的差分法与最小二乘法需要地震先验信息的缺陷,开展本文的研究目的和主要内容,提出独
2014年,我国经济进入经济增长速度换挡期、结构调整阵痛期、前期刺激政策消化期的"三期叠加"新常态。面对国内经济下行压力增大、市场需求疲软、经济效益下滑的困难局面,磷复
会议
随着信息技术的发展,现代战争演变为信息化条件下,作战双方武器装备体系与体系之间的全面综合对抗。对武器装备体系进行作战效能评估是武器装备系统发展的至关重要的一个环节
在食品和医药两大民生行业中,产品外包装的标签作为商品的重要组成部分,有必要对其外观、完整性和内部信息进行在线全检。机器视觉检测稳定可靠、速度快、精度高,可替代人工
交通运输业的发展对我国经济的全局性和战略性起着重要作用。在当前交通运输大部制改革的环境下,建立现代化综合交通体系已是必然选择。构建交通运输服务指数是衡量区域交通运输综合服务能力的有效途径之一。当前交通运输服务指数研究在国家层面开展,尚未对省市级的交通运输服务指数有深入探讨,天津市在交通运输综合性指数研究上存在空白。本文基于美国和中国编制交通运输服务指数的思路,结合天津市交通运输业特点,通过多步骤方
微阵列技术能够同时测量数千个基因的表达水平值,可以同时平行检测大量基因的表达水平,产生大量的微阵列数据集,这些基因表达数据反映了不同实验条件下的基因组水平。基因表