面向移动增强现实应用的码率自适应能效优化研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:yiquanzou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动硬件及移动技术的飞速发展极大的扩展了移动用户的交互空间和交互方式,如虚拟现实技术Virtual Reality,VR)、增强现实技术(Augmented Reality,AR)和混合现实技术(Mixed Reality,MR),该类技术为用户在娱乐、医疗保健和教育领域提供了前所未有的沉浸式体验。其中,由于AR技术在传统移动设备中便可实现,有较强的可操作性,由此也被工业界和学术界所推崇。随着移动增强现实应用(Mobile Augmented Reality,MAR)的普及与发展,用户对MAR也提出了更高的要求,如更快速的响应和更优质的用户观感体验,而这进一步加重了MAR中计算密集型任务(目标识别检测、动画渲染等)对移动设备的能耗开销。已有研究将复杂的计算任务卸载到云或边缘服务器进行操作,但不稳定的网络环境仍然无法保证MAR应用的实时性。为此,本文首先提出了基于码率自适应的MAR能效优化模型。该模型通过识别图像中用户感兴趣的区域,并为该区域提供一个较高的图像编码码率,保证图像质量;给其他区域一个较低的码率,以达到MAR应用的数据传输过程中保障用户体验的同时减少传输数据量,从而降低MAR响应延迟,提高系统能效。进一步,由于用户的使用体验存在差异性,因此针对码率自适应模型提出基于用户体验的迁移学习策略,该策略旨在预测出更符合当前用户使用习惯的码率配置,迁移学习在减少为每位用户单独构建模型开销的同时,为用户提供个性化服务。本文的主要工作如下:1.针对MAR应用在图像内容下载过程中出现的能效问题,提出将卸载到云端的图像内容进行分割并重新编码的方法,同时进行实验验证此方法在提高MAR系统能效上的可行性。2.提出了基于机器学习方法的码率自适应控制模型。该模型针对不同网络环境下的MAR视频构建机器学习模型,最终可根据MAR图像内容的复杂度和当前网络状态动态预测合适的图像编码码率配置。在尽可能维持用户体验的情况下,在MAR应用的数据传输过程中,本文所提出的码率自适应控制模型平均降低了58%(19.13ms)的传输延迟。3.提出了基于用户体验的码率自适应模型迁移策略。进一步,考虑到用户使用的差异性,本文利用迁移学习对码率自适应控制模型进行优化。通过用户反馈机制收集用户数据对模型进行迁移学习,从而为每位用户快速构建符合其使用习惯的模型。实验结果显示,与基础模型相比,迁移学习后的模型提供了更好的用户体验(用户体验评价指标提升了3%),同时时延优化效果同样好,在MAR应用的数据传输过程中平均时延降低了56%(18.47ms)。
其他文献
MOOC平台课程评论文本中包含了大量学习者对某一门课程的看法,甚至是对授课教师和学习平台的看法。然而海量的评论数据使得教师或平台无法对每条评论及时阅读和处理。通过对MOOC课程评论进行情感分类和方面挖掘研究,能够了解学习者在学习过程中所关注的方面和对其产生的情感态度,有助于教师或平台改进教学方式和完善平台功能,从而调动学习者积极性,降低退课率。本文以MOOC课程评论文本为研究对象,针对情感分类和方
句子相似度计算是自然语言处理中广泛应用的技术,是句子语义理解的基础,能促进计算机对人类语言的深入理解。为了能准确地对句子进行相似度计算,本文首先提出一种能准确地对句子语义建模的句子表示方法,然后提出一种能高效地对句子之间的语义关系建模的句子匹配算法,最后在此基础上提出一种句子相似度计算方法。本文主要研究工作如下:(1)针对句子包含的空间信息的特征很难被准确提取的问题,提出了一种基于异构图的句子表示
眼眶淋巴瘤(Orbital Adnexal Lymphoma,OAL)和炎性假瘤(Idiopathic Orbital Inflammation,IOI)是眼眶最常见的两种淋巴组织增生性疾病。OAL是一种恶性眼眶肿瘤,发生率高达55%,其最佳治疗方法是局部放疗。IOI是一种特发性良性病变,约占眼眶疾病的10%,糖皮质激素治疗是目前公认首选的治疗方法。这两种疾病治疗方法的巨大不同使得区分二者极为迫切
古代文物具有丰富的文化内涵,由于自然灾害或人为因素,出土文物存在不同程度的缺损,影响了虚拟展示等后续工作。随着三维激光扫描技术的发展,三维数字化修复成为文物虚拟化修复领域的挑战性问题,对重现文物全貌具有重要意义。然而,为了提高修复效率首先会压缩文物模型,导致部分特征丢失。此外,复原的三维文物表面缺乏颜色纹理的信息。因此本文应用深度学习技术,分别从三维和二维的角度修复表面几何特征和纹理信息。主要研究
随着计算机视觉技术的蓬勃发展,人们越来越不满足于仅通过计算机了解场景目标的二维信息,使用二维序列图像重建出目标主体的三维信息成为了越来越迫切的需求。如今,基于序列图像的三维重建技术已在多个领域发挥着不可替代的作用,然而该技术存在着无法兼顾重建精度与实时性的问题。本文主要关注序列图像三维重建的精度与实时性问题,从三维重建对输入序列图像的分辨率要求较高以及传统三维重建算法无法兼顾精度和实时性这两个问题
与人脸识别、语音识别一样,手势识别也较常见,广泛应用于日常生活,具有很高的应用价值。已有的识别方法是视频成像、佩戴设备或无线装置,其中前两种在精度和效率上都较高,但受限于环境或隐私。而无线识别中基于Wi-Fi信道状态信息(Channel State Information,CSI)的识别方法则没有这些限制,有利于手势识别研究。但是,在跨场景手势识别问题中,每个不同的场景均需大量的数据样本来完成高精
异构设备的发展和应用促使相关的运行框架得到快速的发展,OpenCL作为首个跨平台的运行框架,代表了当前异构设备的发展趋势。它能够在多核的CPU、GPU等异构单元上透明运行,但因不同平台的环境差异,导致其性能优化移植性较差,从而造成程序运行效率的低下。现有的OpenCL程序优化方法采用自然语言处理技术对程序顺序关系特征进行建模优化,以提高程序的加速比,由于忽略了程序的语法语义关系,导致程序运行效率低
软件缺陷制约软件产业发展,严重影响软件质量。探索高效、自动的软件缺陷修复方法是目前软件工程领域的重要课题之一。深度学习技术的发展和大规模开源代码库的出现为改进传统基于“生成-验证”的缺陷修复方法带来了可能,正在成为目前研究的热点方向。目前基于深度学习的缺陷修复方法主要依赖来自开源代码库中的数据集构建模型,尽管与传统基于手工提取缺陷修复模式的修复方法相比,能够生成可通过配套测试用例集的有效补丁,但生
考古发掘出来的陶质文物年代久远,本身材质脆弱,由于历经地壳运动,风化侵蚀,保存处理方式不当等原因,原本完整的文物破损成若干碎块。文物修复技术可以重现破损文物的原貌,对考古研究与文化传承有重要意义。计算机辅助虚拟拼接复原是文物修复领域的重要技术手段,相较于手动拼接修复有着不可替代的优势。虚拟拼接方法中的两个关键部分分别为匹配与配准过程。现有方法在匹配过程中所使用的人工设计的特征描述子的可靠性有待提高
随着物联网技术的不断发展,生活中依赖位置信息提供的服务越来越多,这为生活提供了便利。对于位置服务的依赖性导致用户忽视该服务带来的信息泄露问题,最显而易见的问题在于用户自主提交详细位置信息导致信息泄露问题。另外用户多次提交位置信息中产生的关联信息可推测出用户的个人敏感信息导致其人身、财产安全受到威胁。当前的技术背景下,位置隐私保护方法广泛使用匿名技术,将某一详细位置信息泛化为一个匿名区域从而降低泄露