QoE驱动的点云视频自适应传输模型与切块技术研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:hanhan069
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着元宇宙概念的兴起,虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)等技术受到广泛关注,其中以点云视频为代表的全息视频技术是其中的关键应用,它在教育,娱乐和医疗等领域拥有广泛的应用前景。然而由于点云视频拥有六个维度的信息,它比普通视频有更高的数据量,因此传输点云视频对网络带宽和延迟的要求十分高,因此研究如何优化点云视频的传输是目前多媒体传输领域的热门研究方向。视频码率自适应传输技术可以通过检测网络环境等状态,通过自适应地调节视频的传输码率来减少带宽需求。在点云视频中,不仅要考虑时间上的码率调节,还要考虑空间上的码率调节,即由于用户在不同时刻观看的视频内容不同,而用户的视场(Filed of View,FoV)范围是有限的,因此可以通过检测用户视角,尽可能地提高用户关注区域的视频码率,降低用户FoV外的视频码率,从而降低视频传输数据量,这需要点云切块技术先对点云进行空间上切分,得到不同区域的切块,然后每个切块被独立编码成不同质量等级的版本。本文中的视频自适应传输模型不仅考虑了带宽的限制,也考虑了编解码带来的计算开销,提出了一个联合计算资源和通信资源的传输方案,即每个切块拥有独立的质量等级和传输形式,其中,传输形式分为压缩形式和重构形式,前者主要对通信资源开销大而后者计算资源开销大,然后通过建立QoE(Quality of Experience,QOE)模型并最大化QoE转换为最优化问题,最后使用优化算法求解得到每个切块的最佳质量等级和传输形式,达到提高传输性能的目的。在传统点云切块中,点云将会被均匀切分,即切分成一个个长方体,这种方式实现简单,但是没有考虑到视频内容的特征,无法最大程度降低传输数据量,因此本文提出了一种基于显著性检测的点云自适应切块技术,能够结合视频内容做到自适应切分,在减少切块数目的同时更好地与用户的FoV匹配,实现最大限度地降低冗余的传输数据。最后本文进行了详尽的仿真实验对比系统性能,并搭建了一个传输系统原型,以验证所提出的切块方案和传输方案的可行性,实验结果表明,所提出的传输方案和切块方案的性能表现均优于其他基准方案。
其他文献
频率或时钟发生器作为现代片上系统(SOC)中最重要的模块之一,越来越受到学术界和工业界的关注。在各种频率产生结构中,电荷泵型锁相环(CPPLL)在鲁棒性、设计复杂度、功耗和噪声性能之间取得了较好的折衷,因此成为我们的首选。作为一个闭环系统,CPPLL的性能在很大程度上取决于其环路带宽。与无线通信标准对本振的相位噪声提出严格要求不同,时钟发生器只需要保证其时钟抖动性能。换句话说,与使用不可避免地消耗
学位
2008年以前,肾小球滤过率的估算都是依托于传统经验方程和推广不广泛、应用有限制的临床方法。随着机器学习的日益兴起和机器学习算法在其他预测领域中对预测性能的提升,将机器学习算法应用于肾小球滤过率估算,由此肾小球滤过率估算得到了长足的发展。本文在前人工作的基础之上,研究了基于传统机器学习中的回归模型、卷积神经网络和多层感知机的肾小球滤过率估算,并使用支持向量机对卷积神经网络结构做出改进,论文的主要工
学位
近年来随着物联网技术的发展,人机交互技术在日新月异的进步,其中涌现了多种创新的技术,并且在多个领域都有实际应用。这其中,基于Wi Fi信道状态信息CSI(Channel State Information)的人体行为识别由于具有被动感知、非侵入性和无隐私问题等一系列优点,在过去的二十年中引起了许多研究人员的关注,取得了丰富的研究成果。但是,目前也还存在一些问题亟待人们去解决:现有的大量基于深度学习
学位
在集成电路技术尤其是制造工艺不断迭代发展的过程中,数字电路性能得到不断增强,但是模拟电路的设计难度却在增大,利用数字辅助电路替代一部分模拟电路,已经成为当今集成电路设计的潮流。时间-数字转换器(Time-to-Digital Converter,TDC)作为模拟-数字转换器的一个重要分支,主要由数字电路构建,这使得其性能受惠于CMOS工艺的进步而得到跳跃式的提升。其适用场景也因此更加广泛,可应用在
学位
随着电子技术的不断发展,对电子真空器件提出了越来越多的要求,而阴极作为电子管的核心部件对电子管的寿命起着决定性的作用。热阴极目前在高功率微波真空电子器件、卫星雷达、电子显微镜以及核聚变等高技术领域都有着成熟的应用,而本文设计的热阴极是应用于紧凑环等离子体物理实验中的一套真空电子发射装置。紧凑环是一种高密度自组织等离子体团,由于它具有很强的磁结构和高定向动能密度,从而能够穿过强磁场,所以紧凑环注入被
学位
随着智能终端设备的快速普及和高清视频等多媒体应用的迅猛发展,移动数据流量呈现爆发式增长,这导致对更高的数据传输速率的需求也在不断的增加,然而传统的蜂窝网络已无法满足海量数据传输的需求,因此如何提升受限频谱资源的效率以满足移动用户的服务请求已成为5G蜂窝网络中的关键性问题。由于设备间直接(Device-to-Device,D2D)通信可以有效的提升受限频谱资源的利用率,被视为5G蜂窝网络的关键技术之
学位
随着合成孔径雷达(Synthetic Aperture Radar,SAR)系统和成像算法逐渐成熟,SAR收集数据的能力日渐增强,SAR图像的解译研究越来越备受关注。其中,目标检测则是SAR图像解译研究的重要方向,传统的目标检测算法需要人工高度参与杂波模型和检测器设计,过程较为复杂且工作量较大。基于深度学习的目标检测算法的出现为SAR图像目标检测提供了新的思路,相比于传统的目标检测算法,深度学习能
学位
近红外光电探测器被广泛应用于红外成像系统、红外导航与瞄准系统、红外跟踪仪、光纤通信系统、红外测温仪等许多军事和民用领域的装备仪器中,受到人们的广泛关注和研究。基于传统半导体材料的近红外光电探测器由于器件结构复杂、制备工艺繁琐、成本较高等问题,逐渐难以满足当前高性能、高集成度和低成本的要求。近年来,由新兴的二维材料与传统的窄禁带半导体材料组成的二维/三维(2D/3D)杂化异质结为设计高性能的近红外光
学位
湿地是地球上至关重要的生态系统之一,为社会经济的发展提供生态服务,保障了国家的生态安全。湿地的高精度分类对湿地生态环境的保护和管理具有重要意义。然而由于湿地类别之间边界模糊、特征相似等原因,目前广泛存在的湿地分类精度无法满足更深层次湿地研究的需要。鉴于湿地测绘精度低这一问题,本研究以黄河口三角洲湿地为研究区,协同高分辨率的合成孔径雷达与光学遥感数据,结合面向对象的图像分析技术和分层分类方法,探索基
学位
癌症的分级这一领域一直是研究的热点和难点。传统的癌症分级依靠不同的预定义的手工特征,缺乏足够的泛化能力和鲁棒性。随着深度学习发展,越来越多的医学图像处理任务都可以使用卷积神经网络来很好的解决。跟传统的方法相比,卷积神经网络不仅可以从数据中自动学习有意义的特征,还可以减少算法的实现时间,同时保证更高的诊断效率和准确度。本文基于深度学习算法研究了癌症尤其是结直肠癌的分级算法,本文主要工作如下:(1)数
学位