【摘 要】
：
对于多媒体服务而言,触觉感知愈发重要。触觉感知融合音频和视频,可以构建更具沉浸式的多媒体用户体验。随着触觉感知需求及相关软硬件交互设备的发展,需要传输的触觉数据规模越来越大。为支撑媒体流的传输和触觉感知信号的再现,触觉感知编解码技术显得尤为必要。但现阶段触觉感知信号的研究还未达到较高水平,特别是该领域的编解码方案压缩性能有限。为解决该问题,本文分析了动觉信号,即触觉感知信号的两种主要类型之一,发现
论文部分内容阅读
对于多媒体服务而言,触觉感知愈发重要。触觉感知融合音频和视频,可以构建更具沉浸式的多媒体用户体验。随着触觉感知需求及相关软硬件交互设备的发展,需要传输的触觉数据规模越来越大。为支撑媒体流的传输和触觉感知信号的再现,触觉感知编解码技术显得尤为必要。但现阶段触觉感知信号的研究还未达到较高水平,特别是该领域的编解码方案压缩性能有限。为解决该问题,本文分析了动觉信号,即触觉感知信号的两种主要类型之一,发现其具有的统计特性并以此为理论依据,同时借鉴图像、视频类型的编解码算法,提出一种端到端的触觉感知编解码方案,实现高效率、低时延、感知无损的三种维度的性能要求。具体研究内容如下:（1）本文开拓了一种新颖的触觉感知编解码研究思路,进而提出了感知无损动觉编码器的架构设计。首先研究图像、视频类型编解码实现高效性能的关键步骤,如变换、量化、熵编码等,以及对于信号统计特性和人类生理特性的充分利用,并将其借鉴到触觉感知编解码。该研究思路启发本文对于标准数据库的分析,总结出动觉信号具有采样频率高、信号幅度小、自由度多、精度要求有限等统计特性。最后在该研究思路的指导下,基于图像、视频类型编解码的原理和方法,以动觉信号统计特性作为理论依据,提出了感知无损动觉编码器的架构设计,即放大器、时域频域变换、量化器、游程编码、熵编码等,通过实验有力证明了本方案的压缩能力和低时延。（2）本文在（1）的基础上相应地提出了感知无损动觉解码器的架构设计,并验证了本文所提方案的信号还原能力。首先提出了解码器的架构设计,即编码器的所有反向模块。根据应用场景,如音-视-触融合、网络带宽受限等,优化模块和参数,权衡三种维度的性能要求,实现压缩率和重构信号质量的均衡。接着采用公平的、可复现的实验形式,验证了本方案的信号还原能力,充分体现了感知无损的性能优势。（3）本文搭建了公平、可复现的实验环境,验证了本方案的性能优势。对比实时编码的死区编码方案,以及有代表性的延时编码方案,本方案在IEEE P1918.1.1Haptic Codecs Task Group标准数据库上取得高效率,并实现动觉编解码的仿真系统应用落地和可行性验证。多维度的实验结果证明,本方案在感知质量明显提升、编码时延无感的情况下,压缩效果显著优于现有方案,实现了至少50%的平均码率下降。本文研究的高效率低时延的触觉感知无损编码,有能力支撑动觉信号的传输和再现,对于触觉感知编解码优化具有一定的指导意义和应用价值。
其他文献
超分辨率简称超分,是计算机视觉中的经典任务,其目的是重建低分辨率图像中丢失的高频信息。在过去几十年间,我们见证了超分技术快速发展的历程。特别是深度学习技术的进步,极大地促进了超分领域的发展。目前,超分技术被广泛应于众多领域中。尽管如此,基于深度学习的超分模型需要配对的高—低分辨率图像对来进行训练。然而,在真实世界中,这样的配对图像通常存在获取难度大、获取成本高的问题。为解决这个问题,研究者们通常利
近年来,卷积神经网络被广泛应用于各个领域。为了提高网络的性能,研究者们通常会加深或加宽网络。然而,网络性能在提高的同时,网络整体的计算量和参数数量也在快速增加,这极大阻碍其在资源有限的移动端上的应用。二值化是解决上述问题的一种较好的方法,但由于二值化直接将网络的权重和卷积层的输入特征映射为1bit数据,造成网络精度的大幅下降,导致其难以投入实际应用。基于此,本文在Res Net-18网络结构的基础
随着现代社会空气污染日益严重,肺部组织疾病已成为发病率和致死率最高的疾病类别之一。肺部CT能提供毫米级别的高分辨率薄层影像,通过准确、高效地分割肺部组织结构以辅助肺部疾病的诊疗,已经成为当前的研究热点。本文重点研究肺气管和肺叶的分割。肺气管与肺叶的自动分割与重建不仅能帮助放射科医生定性、定量地评估肺部疾病,还能为肺癌手术的术前规划、术中导航和术后评估等提供有效的参考,省时省力,具有重要的临床价值。
图像超分辨率技术以低分辨率图像为基础,通过推断图像像素值,重构图像的细节信息,以提升图像中目标物的分辨率,从而带给人们更多的视觉信息,为用户提供更好的视觉质量。随着人们对图像清晰度要求的提高,图像超分辨率已成为计算机视觉和图像处理领域的研究热点。然而,当前众多的图像超分辨率算法的性能评估暂无统一标准,目前仍以传统的全参考图像质量评价指标为主要评估方式。但由于超分辨率图像与其参考图像的像素点对应不严
随着国家经济与科技水平的快速发展,人民生活质量逐步提升,具体表现之一就是城市内的机动车数量日益增加。但是,问题也随之而来包括常见的交通堵塞、交通噪声、尾气污染等,且这些问题正日益严重。智能交通系统在解决交通问题上具有显著的效果,正因如此它越来越受到交通管理部门和出行者的信赖。其中,准确稳定的交通流预测可以为交通管理部门提供未来时刻可靠的交通参考数据,从而对交通规划和交通疏导提供有效的建议。然而,现
随着物联网技术的发展和人工智能的普及,网络中的边缘设备数量呈指数式增长,这些设备每时每刻都在产生大量的数据,对这些数据的分析和利用有利于信息化的发展。然而,传统对这些数据集中化处理的方法通常伴随着庞大的存储问题和复杂的计算问题。首先,庞大的数据量对网络传输能力要求较高,且会带来网络时延等问题,因此将数据处理从云端下沉到边缘端的趋势无法避免;其次,随着企业及用户对个人隐私意识的不断增强,使其对个人数
阿尔茨海默病（Alzheimer’s Disease,AD）是最常见的痴呆症之一。大量先前的研究结果表明将不同模态的数据结合起来用于脑部疾病的诊断,通常比仅仅使用单一模态的诊断结果更好。但在临床实际中很难获得包含不同模态数据的完整数据集。PET成像价格昂贵并且需要注射放射性物质,而MRI成像则更便宜、更安全,在实际中应用更广泛。因此,在同一研究对象的多模态数据中经常会缺失PET数据。对于多模态数据
随着农业现代化建设的快速发展,温室大棚管理也朝着智能化方向发展。目前国内温室大棚监控系统管理较为依赖主观经验,并且,数据的收集管理较为复杂,系统无法实现较好的远程监控。此外,温室大棚管理智能化不足和大棚内布线复杂等难题需进一步解决。因此,提高温室大棚智能化程度,建立自供电监控系统具有重要的实际意义。本课题从实际应用角度出发,研发出一套由光伏供电的温室大棚监控系统。该系统采用光伏供能,利用无线传输将
视频压缩技术已显著节约了视频的存储空间和传输带宽,但过度压缩会不可避免地导致压缩效应的出现。实验表明,相关压缩效应的存在显著降低了视频的画质,并严重影响了终端用户的观看体验。为解决此问题,需探讨压缩效应与视频质量之间的相关性,并以此为基础,构建压缩视频质量的客观评价指标。其中,无参考的质量评价方法更加切合于用户端的观看环境,也因此成为当前研究的重点与难点。就此,本文定性研究了压缩效应与视频质量之间
现如今虚拟现实技术发展显著且应用度广,全景视频作为其中的一种技术在虚拟现实研究中占据重要地位。全景视频是把全景和视频相结合的一门综合技术。与传统视频的单一视角对比,全景视频能够提供宽广的视野,还可以观看任意方向的内容,有良好的沉浸感和使用价值。现如今直播的盛行,全景视频在娱乐、旅游、交通等方面都得到了一定程度的应用。将全景视频与直播相结合,实现全景视频直播,势必将成为今后社会的一大热门。实时性和画