全景视频处理与呈现架构和关键技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:chengyao54321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体和网络传输技术的发展,视频的应用场景也越发丰富,它以其丰富多彩的视觉表达效果成为了互联网通讯中的重要表达形式。与此同时,传统平面的固定视角视频逐渐不能满足人们新的视觉需求。近年来,虚拟现实技术不断发展,它所呈现的交互式虚拟全景视频场景与用户实际行为之间的融合极大的丰富了用户体验。终端显示设备的不断革新,为虚拟现实内容的呈现提供了可能性和创造性。虽然对于全景视频的应用需求日渐提升,但全景视频的处理和呈现服务面临着诸多挑战。首先,8K甚至更高分辨率的全景视频对传输带宽有很高的消耗。例如,分辨率为2K的视频编码码流一般需要4Mbit/s左右的数据量,如果分辨率达到4K,则数据量将增长为20Mbit/s。但同时,人眼视野范围有限,无法一次性观看到全景视频的所有方向上的内容,而只关注视角区域的画面。因此,本文提出一个基于云端的视点自适应视频处理的传输方案,按观看视角所需在空间上合理分配高低码率。该方案能有效降低带宽需求,缓解视频观看中的黑场问题,并且能兼容传统的客户端播放器。在这种方案下,视频画面将在空间上形成多个分块。为了避免在服务端视频内容的切片化,我们在全景文件容器封装成多路视频轨道,提出视点自适应的混合码流提取算法,按照视角位置信息实时抽取高低码率分块重组码流。并将服务端传输系统与客户端头戴式设备相连接形成闭环,实现了视角信息和视频内容的交互。本文具体介绍了这种视点自适应架构的设计细节和优化工作,并通过实验数据对系统的带宽和质量两个维度进行了性能比较。网络传输和系统模块中通常存在延时,服务端根据当前时刻的视角进行混合码率视频的合成传输,由于延时的影响,在终端观看服务端传输的视频时,用户的视角位置很有可能已经产生了变化,无法保证观看位置的视频质量。因此,基于延时带来的位置变化问题,我们在视点自适应传输中利用视角预测技术。在本文中详细研究了线性回归、反向传播神经网络和长短时记忆网络的原理,并在实验中对比了它们的预测准确度性能。在此基础上提出了一种基于时间轨迹分析和显著性视觉检测算法联合预测修正的方法。实验证明,利用时间和空间信息的联合预测修正方法能更为准确的预测未来视角位置,能有效提升终端画面质量。
其他文献
<正> 英国-新西兰物理学家。1871年8月30日生于新西兰纳尔逊附近的布赖特沃特;1937年10月19日卒于伦敦。剑桥大学的蒙德实验室门口,有三座引人注目的雕像:一个是出资兴建这座
高等教育是国家发展水平和发展潜力的重要标志,建设高等教育强国必须坚持“以人为本”,必须办好高等教育,把人才培养放在中心地位。而在人才培养中,要以凝聚人心、完善人格、
研究了变形钽丝在不同温度下退火后的织构演变和再结晶行为,发现1360℃退火后钽丝初次再结晶基本完成;1500℃退火后,钽丝中发生了二次再结晶,晶粒异常粗大.提出了拉拔钽丝的
随着城市建设的发展,城市地上空间已经被充分开发,特别是大型城市,更是被过度开发,变得越来越为拥挤。为了解决这一难题,进一步开发利用城市的地下空间就显得尤为重要了。而结合地下空间修建人防工程是地下空间开发利用的重要一环,把城市地下空间的开发与人防工程建设相结合,既能充分利用城市地下空间资源,又能加强人防防护体系建设,节约了建设成本,提高了国家防护能力。目前,我国人防工程建设的主要投资模式仍然是传统的
综述了国内外梯度硬质合金和金属陶瓷材料研究的进展情况,重点介绍了其粉末冶金制造方法、性能特征和典型应用开发。
目的:运用回顾性研究方法,采集230例CRF患者四诊信息,结合多元统计方法,研究CRF患者证候特点,结合国家标准及专家意见,得出更为客观的CRF证候规律。方法:本次研究收集2017年12月至2018年12月期间就诊福建省第二人民医院肾内科住院部,符合研究条件的230名CRF患者的电子病历,根据《慢性肾衰竭证候研究调查表》采集证候信息,运用WPS 2019、SPSS 20.0、SPSS Modele