光场密集子孔径图像编码方法研究

来源 :上海大学 | 被引量 : 0次 | 上传用户:123hui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
光场成像技术能够捕捉到环境中光线的位置和角度信息,因而可实现数字重聚焦、全景深扩展、可编辑立体成像等传统相机无法企及的创新功能。此外,由于光场图像提供了连续且细腻的运动视差,所以可为用户带来更加真实且自然的观看体验,从而降低视觉疲劳。因此,在当前公众对媒体内容新奇感及沉浸感需求迫切的背景下,光场技术将成为新一代智能视觉技术的关键支撑,同时也将推动计算摄像学领域从数字化向智能化加速跃升。然而,光场密集子孔径图像(Sub-Aperture Image,SAI)成为计算摄像学领域研究热点的同时,其庞大的数据量对数据存储与网络传输带来了巨大挑战,甚至严重制约着光场技术发展和应用。因此,如何高效地压缩光场密集子孔径图像,是解决光场技术瓶颈的关键问题。现有光场压缩方法多以子孔径图像伪序列为对象,编码过程并未充分考虑光场角度域相关性与稀疏性,因而光场数据冗余仍有大幅下降空间。针对现存问题,本文基于稀疏编码与解码重建的思路,以提高光场密集子孔径图像编码效率为目的,开展了稀疏编码与解码重建框架、深度图像估计与优化以及稀疏优化与残差增强三个方面的研究工作。主要研究内容和贡献如下:第一,针对光场子孔径图像数量众多而限制编码器工作效率的问题,利用子孔径图像之间的角度域相关性,建立光场密集子孔径图像的稀疏编码与解码重建框架。该框架构造了基于极平面图像(Epipolar Plane Image,EPI)极线斜率匹配代价函数。基于光场的双平面参数化模型,利用该函数计算得到的极线斜率可以导出场景点的估计深度值,并输出子孔径图像对应的深度图。基于高效率视频编码(High Efficiency Video Coding,HEVC)的多视点视频加深度编码框架,能够编码少数视点视频,并在解码端重建出更多视点视频。为此,对子孔径图像及其对应深度图进行简单的稀疏采样并排列构成多视点伪视频序列,使用多视点视频加深度编码器进行压缩编码,在解码端利用基于深度图像绘制(Depth Image Based Rendering,DIBR)技术重建出子孔径图像。实验结果显示,该方案能够估计出较为准确的深度图像,从而保证了较高的子孔径图像重建质量。因此,与传统的子孔径图像编码方法相比,该方法能够显著降低光场密集子孔径图像的编码码率,提高光场图像的编码效率。第二,考虑到子孔径图像的重建质量取决于深度图质量,为进一步提升光场密集子孔径图像编码性能,提出针对光场密集子孔径图像稀疏编码的深度图像估计与优化方法。根据光晕效应(vignetting artifacts),计算双向EPI深度值,并设计基于角度域位置的深度融合算法,以完成双向深度图的融合计算。EPI低频区域极线斜率不明显,会导致深度估计不准确,进而影响到子孔径图像重建质量。考虑到纹理图像与深度图在低频区域有着相同的像素变化趋势,为此设计一种加权滤波器,其权重由子孔径图像像素变化趋势计算得到,以用于消除深度图噪声点。另外,通过统计分析深度图的二次多项式插值迭代优化算法结果,找到深度优化的合理迭代次数。实验结果表明,与经典的光场图像深度估计算法相比,该方法能够有效提高深度图质量。因此,基于所提出深度估计与优化方法的光场密集子孔径图像稀疏编码,其性能优于其他经典光场编码方法。第三,考虑到较高质量的深度图能够保证子孔径图像的重建质量,为进一步降低需要编码的子孔径图像数量以提高编码效率,提出基于稀疏优化与残差增强的光场密集子孔径图像稀疏编码方法。该方法尝试了不同的子孔径图像稀疏采样步长与深度计算步长组合,通过重建质量结果与深度计算时间统计分析,确定合理的步长组合。为进一步挖掘子孔径图像间相关性,该方法还提出基于内容相似度的视频帧排列算法,根据子孔径图像间的相似程度设计伪视频序列的参考顺序。为弥补子孔径图像稀疏采样步长增加带来的重建失真,该方法在编码前计算重建子孔径图像与原始子孔径图像的残差信息,在解码端利用该残差信息增强子孔径图像重建质量。实验结果证明,基于内容相似度的视频帧排列算法有助于提高光场图像多视点伪视频序列的编码性能;而且,尽管残差信息增加了编码码率,但对于重建质量的提高使得该方法的整体编码效率仍然高于其他光场图像稀疏编码方法。
其他文献
目的:探讨父母温暖、拒绝与学龄儿童违纪行为间的关系是否会受到儿童冷漠无情特质的调节。方法:采用儿童教养行为问卷、儿童行为核查表以及冷漠无情特质问卷对284名学龄儿童及其父母进行测查。结果:(1)父亲和母亲温暖均与儿童违纪行为显著负相关,父亲和母亲拒绝均与儿童违纪行为显著正相关。(2)父亲和母亲温暖均能够显著负向预测高冷漠无情特质儿童的违纪行为,但是不能预测低冷漠无情特质儿童的违纪行为。(3)父亲和
在人工智能时代,算法的设计及应用对市场竞争产生了明显的影响。按照算法合谋中价格协议的功能不同,可将算法分为辅助型算法和决策型算法。而这两类不同的算法在价格合谋的不同阶段及环节发挥不同的作用。辅助型算法加大了垄断协议的证明难度,决策型算法对先行的默示合谋合法性认定标准带来挑战,且对反垄断规制的归责原则带来了冲击。面对不同算法合谋的反垄断规制困境,在算法产业特性与反垄断规则的规范共性平衡基础上,既要关
目的:探究平衡时间洞察力在主观社会地位与幸福感之间的中介作用。方法:采用中文版时间洞察力量表、主观社会地位和幸福感指数量表对3787名成年人进行调查,并使用Deviation from the Balanced Time Perspective(DBTP)法计算平衡时间洞察力。结果:(1)相关分析表明,主观社会地位与幸福感正相关,DBTP与主观社会地位、幸福感负相关。(2)中介分析表明,在控制了性
目的:探讨青少年情绪共情与抑郁之间的关系,以及羞耻倾向和心理弹性在其中的中介作用。方法:采用人际反应指针、内疚和羞耻倾向量表、心理弹性量表、流调中心抑郁量表对640名青少年进行测量。结果:相关分析结果显示,情绪共情、羞耻倾向、抑郁两两之间均存在显著正相关,心理弹性与情绪共情、羞耻倾向、抑郁均显著负相关;链式中介作用分析表明,情绪共情对抑郁的直接效应显著,羞耻倾向、心理弹性以及羞耻倾向—心理弹性在情
课堂学习结果,是指在课堂的人数、时间、科目等规定性之下,学习者在完成一定的学科学习任务中获得的学习成果。基于安德森、布卢姆、加涅的个体学习结果分类理论,基于群体动力、理解学习、学会学习的视角,构建由知识、策略、态度构成的课堂学习结果分类框架,并阐述了各类别课堂学习结果的内外表现及教学要求。
在警用犬的管理、训练和使用过程中,不论是服从性科目的训练,还是使用科目的训练,都具有阶段性的特点。主要体现在训练方法、训练内容、训练重点上的区别和整合进度上的不同。在实践中,就如何把握好警用犬训练和使用的不同阶段,经过多年的总结、研判和实践检验,笔者认为要全面提高训练质效,就要把握好以下"四个阶段"。一、巩固、提高训练能力阶段训导员同警用犬确定了训练关系后,就开启了训练进程。
期刊
一、问题的提出教学目标是课程目标在教学中的具体体现,是教学的出发点和归宿,也是教学设计中一项十分重要的任务。教学有效性的一个核心指标是目标达成度。教师的教学目标达成了,就是高效的教学吗?笔者认为还得看教学目标是否最大限度地契合课程标准、学科核心素养和学情。如果教学目标单一、模糊,或用知识取代能力和素养,导致教学活动随意,那么,即使"教学目标"已达成,仍不是高效教学。化学是以实验为基础的科学,
期刊
目的:探讨基于量化评估策略下的身体约束干预在重症监护病房(ICU)意识障碍病人中的应用效果。方法:选择2019年3月—2020年7月收治的ICU意识障碍病人193例,采用分层随机法分为干预组97例和对照组96例。对照组给予基于经验式评估的身体约束干预,干预组给予基于量化评估策略下的身体约束干预,比较两组病人约束情况、病人家属满意度。同期选择给予干预组、对照组病人护理的ICU护士各63人为调查对象,
自20世纪八十年代以来,视频编码(Video coding)技术蓬勃发展,广泛应用于远程教育、远程医疗、可视电话、视频会议、视频点播、交互式视频游戏、安全监控、虚拟实现等领域,对整个信息产业的发展起到了巨大的推动作用。现实生活中,无处不在的视频应用更是催生出海量的视频数据;特别是近年来人们强烈追求更清晰、更流畅、更逼真的视觉体验,使得视频数据呈现爆发式增长,对视频压缩效率提出了更高的要求。高效视频
随着我国进入老龄化社会,人口老龄化问题日益严重,在2017年60岁以上老年人人口已占总人口数的17.3%,预计2050年这个比例将会达到34.9%,且老年人护理工作需要占用很大一部分医疗护理资源,所以针对老年人步行和生活起居问题的助行机器人研究得到广泛关注。此外,脑卒中等脑血管疾病的致残率较高,人口老龄化使得因脑血管疾病而残疾的人数逐年增加,且传统治疗方式存在康复效率低、理疗师费用高、训练强度大和