【摘 要】
:
沉浸式多媒体,包括全景视频和虚拟/增强现实(Virtual Reality,VR/Augmented Reality,AR)视频,最近随着沉浸式应用需求的增加而变得越来越流行。视角(Field of view,FoV)预测作为新兴的VR和AR应用的一个重要组成部分,在全景视频自适应传输中至关重要。目前大多数结合了显著性检测和FoV信息的预测方法既没有考虑到全景视频投影后的失真会使传统卷积网络的权重
论文部分内容阅读
沉浸式多媒体,包括全景视频和虚拟/增强现实(Virtual Reality,VR/Augmented Reality,AR)视频,最近随着沉浸式应用需求的增加而变得越来越流行。视角(Field of view,FoV)预测作为新兴的VR和AR应用的一个重要组成部分,在全景视频自适应传输中至关重要。目前大多数结合了显著性检测和FoV信息的预测方法既没有考虑到全景视频投影后的失真会使传统卷积网络的权重共享失效,也没有充分考虑到获得完整的多用户FoV信息的困难,从而降低了预测性能。因此,本文提出了一种基于球面卷积的FoV预测方法,它是一个将全景视频的显著性特征与有限的FoV信息相结合的多源预测框架。本文中利用球形卷积神经网络来代替传统的二维卷积神经网络,以消除全景视频投影失真导致的权重共享失败的问题。具体来说,首先基于球形卷积的显著性检测模型提取显著性时空特征,然后将有限的反馈视角信息表示为基于球形卷积的门控递归单元网络(Gated Recurrent Unit Network,GRU)的时间序列模型。最后结合提取的视频显著性特征和用户的视角信息特征来预测用户未来的视角。实验结果表明,本文中所提出的方法的性能优于其他预测方法。由于全景视频的分辨率很高,其传输时的带宽需求与传统无线技术的带宽容量有很大的差距,在有限的带宽下很难保证用户的体验质量(Quality of Experience,Qo E)。而视角预测可以降低传输带宽,因此本文中提出了一种利用有限用户视角融合修正视频显著性特征的轻量级FoV预测方法。在此基础上设计了一个Qo E驱动的全景视频流系统,该系统由客户端/服务器(Client/Server,C/S)构成,服务器根据预测的FoV和无线网络带宽为每个切块选择合适的质量等级进行传输,以此优化所有用户的Qo E。然后,本文中将系统的传输问题表述为一个非线性整数规划(Nonlinear Integer Programming,NLP)问题,并提出了一个结合Karush-Kuhn-Tucker(KKT)条件和分支定界法的最优算法来解决这个问题。最后,在仿真环境中评估了系统的性能,结果显示该系统的性能优于其它的基线方法。
其他文献
全球卫星导航系统(Global Navigation Satellite System,GNSS)是全球信息基础设施的重要组成部分,其技术无处不在。然而,随着现代科技的发展,复杂的电磁环境,电子对抗的丰富多样,这些都对卫星导航接收机性能提出了巨大的挑战,并且提高卫星导航系统的干扰检测能力一直是人们研究的热门话题。本文从卫星导航信号处理方面入手,提出Radon变换与时频分析结合的方法来检测扫频干扰信
图像超分辨率重建是图像处理领域中重要的低层次计算机视觉任务,它主要是提高图像或视频的分辨率,旨在提高图像质量,获得最佳的视觉效果。图像超分辨率重建技术指的是从低分辨率图像重建高分辨率图像,它在高清显示、视频监控和医学成像等场景中被大量应用于实践。近年来,源于卷积神经网络和深度学习的飞快发展,基于上述两种方法的图像超分辨率重建模型被研究者们大量提出,并取得了重大突破。本文基于前人的理论和研究,提出了
随着互联网技术以及通信技术的飞速发展,移动通信系统已经迈入5G时代并朝着6G研发阶段快速前进,物联网以及车联网的使用也会越来越广泛,伴随而来的是全网的通信带宽以及算力的大幅提升,这给云计算、边缘计算和任务卸载提供了发展的必要条件。但同时对网络中的计算或带宽资源的分配提出了更高的要求。在一些对性能要求较高的场景中,对资源优化的需求就更加强烈。在万物互联的时代,服务机器人的应用变得越来越广泛,室内服务
边缘计算(Edge Computing)作为一种全新的计算范式,通过在靠近用户设备端部署具有一定计算能力的计算设备,实现为用户提供直接相连的高带宽、低延迟、高效率的计算应用服务。边缘计算场景下的任务执行可能会由分布在不同物理空间的计算单元协作完成,使得任务中各模块间的依赖性关系对于任务的有效执行具有较大影响。因此当复杂应用程序的服务请求到达边缘计算系统后,如何根据依赖性关系将任务各模块划分成便于计
连续大气偏振模式伴随太阳位置改变呈现出沿太阳子午线对称变化的特性,该模式作为大气物理属性,所携带的时空信息不易受到天气与电磁的干扰,在导航与探测等领域具有重要的应用。为解决连续大气偏振数据采集过程中存在数据不连续、特征获取不完整的问题,本文从信息处理角度出发,分析大气偏振模式分布变化规律,利用深度学习技术设计了不依赖于环境参数的大气偏振数据预测模型及偏振特征重构模型,保障采集数据的连续性与特征完整
随着煤矿业的发展,矿井深度逐年提高,热害逐渐成为矿井的主要灾害之一。热害的及时预警作为热害防治的第一步尤为重要。人体长期在高温环境中工作会降低人体热舒适度并对身心产生伤害。我国国家标准《煤矿井下热害防治设计规范》中规定采煤工作面的等效温度不应该超过28℃。等效温度是温度、湿度和风速的综合体现,能更科学、准确反映人体的热舒适度。作为评价矿井是否发生热害的标准,矿井中能否实时获取等效温度的数值在热害的
时序动作定位需要在未剪辑的视频中找到所有与人有关的动作,不仅要确定动作发生的精确时间还要确定其类别。弱监督时序动作定位使用视频级的类别标签作为监督信号,相比于全监督的方式标注成本低,其视频中只有少数同一类别的动作片段。现实生活中的视频动作实例更多,且同一时间会发生多种动作,弱监督的方法难以建模密集分布的动作实例之间的复杂时序关系。故本文对弱监督时序动作定位和多标签时序动作定位进行研究,具体工作如下
随着无线网络的飞速发展,移动互联网、物联网以及虚拟现实等各种新兴业务的出现对现有网络环境的时延和可靠性提出了挑战,同时,移动设备的大规模连接也带来了更高的资源需求,计算密集型应用程序和资源受限的移动设备之间的矛盾为获得令人满意的服务质量和服务体验带来了瓶颈。为了能够更好地满足这些新兴业务的需求和特性,推动移动通信网络的发展,设计有效的面向低时延需求的无线资源分配方案已经成为了非常重要的研究课题。本
近三十年来,相干斑抑制方法在合成孔径雷达(SAR:Synthetic Aperture Radar)图像中得到了广泛的应用。SAR图像中斑点噪声的存在严重降低了图像的可解释性,并对后续的目标检测、分类和识别等常见应用产生很大影响。因此,需要采用相干斑消除方法来提高SAR图像的质量。目前,国内外许多学者都致力于SAR图像斑点噪声的抑制,并提出了大量抑制图像斑点噪声的算法。大多数方法都是通过使用过滤窗
呼吸率是衡量人体健康状态的重要生理参数之一,呼吸率检测在医院健康监护、灾害现场伤情判定以及家庭健康监测等场景有着广泛应用。基于视频的呼吸率检测方法成本低廉、拓展性强,已成为人体呼吸率检测领域的研究热点。现有的呼吸率视觉检测方法在人体侧躺、平趴等多种姿态下,难以准确地提取出呼吸信号,不能实际应用于家庭健康监测等场景。因此,多种姿态下的人体呼吸率视觉检测方法具有重要研究价值。针对上述问题,本文具体工作