【摘 要】
:
移动增强现实应用近年来发展十分迅猛,它新奇的交互方式带给了使用者独特的沉浸式体验,目前已经被广泛应用于娱乐,医疗,教育等领域。但是由于移动增强现实应用存在大量计算密集型任务(目标识别、检测及渲染),能耗开销较大,从而给计算资源和电池资源有限的移动端设备带来很大的能耗负担。由此,通常将移动增强现实计算密集型任务卸载到云端进行处理,并给移动端返回处理结果。但针对高清移动增强现实图像内容,有限的上行带宽
论文部分内容阅读
移动增强现实应用近年来发展十分迅猛,它新奇的交互方式带给了使用者独特的沉浸式体验,目前已经被广泛应用于娱乐,医疗,教育等领域。但是由于移动增强现实应用存在大量计算密集型任务(目标识别、检测及渲染),能耗开销较大,从而给计算资源和电池资源有限的移动端设备带来很大的能耗负担。由此,通常将移动增强现实计算密集型任务卸载到云端进行处理,并给移动端返回处理结果。但针对高清移动增强现实图像内容,有限的上行带宽严重影响移动增强现实的响应延迟,由此为了降低移动增强现实应用上传能耗,提高用户交互体验,具体内容主要分为以下几个方面的工作:针对需要在服务器端进行渲染的应用,建立超分辨率帧间隔预测模型,该模型用于预测视频超分辨率过程中需要插入的高清帧的间隔SRD(super-resolution distance,SRD)。在视频编码中,因为相邻帧的重复信息较多,所以不需要对每一帧都独立编码,且HEVC(High Efficiency Video Coding)中采用帧间预测的方法以避免对每一帧单独编码。因此,对视频中所有的帧都进行超分辨率重建也并不必要。在服务器端进行超分辨率还原时,对于不同的视频,本文采用不同的策略进行还原,即根据视频的复杂程度,选取其在高清还原时超分辨率的SRD;根据SRD对该视频中对应的帧进行替换。具体地,首先使用普通插值法将视频放大,对于其中需要重建的帧使用EDVR方法完成重建,将重建的帧再使用FFmpeg重新编码回视频。针对只需要在服务器端进行推理的应用,建立上传视频分辨率预测模型,用于预测上传视频的分辨率。低分辨率视频相较于高分辨率视频有一定的信息损失,但当分辨率损失处于一定范围内时,其识别结果依然准确。另一方面,如今常见的视频,其分辨率在逐渐增大,2K,4K甚至8K也屡见不鲜。超高分辨率虽然对于人眼是一种美好的体验,但是从视频编码的角度来说,势必会存在大量的冗余信息,同时给视频的传输带来负担,因此降低分辨率来进行识别是有必要的。
其他文献
谱聚类作为聚类算法中较为优秀的算法,近年在各个领域取得了不错的进展。相比较单视图,许多现实世界的应用程序涉及从不同视图收集的数据,并且具有较高的数据维度和不可避免的噪声。由于维度灾难、无效去噪和多视图集成的结果不佳等问题,在此类高维且含有噪声的数据集上进行聚类仍然是一个挑战。因此如何设计一种算法,使得算法能够有效的处理高维含噪数据,对于多视图聚类有着重要的意义。在收集数据的过程中,数据总是处于不断
随着信息化技术的不断发展,借助计算机辅助数字化技术对文物的虚拟拼接方式也日益成为主流,相比于传统手工拼接方法,数字化虚拟拼接不仅更加高效,并且能够避免与文物的“亲密”接触从而造成二次破坏。对于因局部碎片缺失和断裂面受损所导致碎片特征提取不准确的问题,本文提出了两种文物碎片的拼接方法,并开发了文物碎片虚拟拼接系统对本文算法进行了验证,主要研究工作如下:(1)针对文物碎片拼接过程中存在因局部碎片缺失和
随着视频数量的不断增加以及深度学习的发展,人体动作识别研究取得了不错的进展。基于视频内容的人体动作识别技术在智能监控、动作预测以及视频目标追踪等领域都具有重要应用。比较成功的人体动作识别方法是双流卷积神经网络模型,该模型通过时间流和空间流两个网络联合视频中人体动作的外观特征以及运动特征对动作进行识别。但是该模型输入的信息(光流图和RGB图像)容易受到背景混乱、视角变化、物体遮挡等因素的影响。考虑到
在当下移动互联网时代,受到时代万物互联互通的影响,互联网流量的变化情况也相应表现出了指数级增长的特点,相关专家提出了边缘计算的理念。移动内容分发网络技术是一种将移动边缘计算与内容分发网络(Content Delivery Network,简称CDN)技术相结合的增强型内容分发网络,在移动内容分发网络的整体网络环境中,处于同一个边缘服务器覆盖范围内的用户可以通过D2D(Device to Devic
在对兵马俑模型进行三维重建建立完整仿真模型,使用计算机辅助进行虚拟修复等过程中,由于兵马俑本身的特性以及3D激光扫描仪的限制,需要使用多个站点获取不同坐标角度下的点云模型,对模型进行配准使其构成一个完整兵马俑仿真模型。兵马俑模型配准的结果将直接影响三维重建以及后续应用的效果。本文研究基于三维点云的兵马俑配准,主要研究内容如下:(1)针对点云规模过大以及搜索配准点对费时的问题,提出一种基于内部形状描
兵马俑是我国优秀历史文化的重要载体。随着光学感知和计算能力的提升,基于三维扫描的数字化建模广泛应用于兵马俑的保护和展示中。三维扫描构建的兵马俑稠密点云冗余数据多,数据量大,降低了处理、传输和展示的效率,现有点云简化方法往往强调执行效率而忽视了点云特征的保持。本文针对兵马俑点云在应用和展示中对特征保持的要求,提出了一种基于深度学习的三维点云简化方法,通过二维图像特征线提取三维点云的特征点,对非特征点
源代码漏洞检测是确保软件系统免受网络安全攻击的关键。构建深度学习模型进行漏洞检测是目前重要的研究方向,但已有的工作在模型训练时大多将程序视为顺序序列或无类型代码属性图,由于忽略了代码本身的结构信息,因而导致产生大量的误报情况。为了改进上述问题,本文提出一个新型漏洞检测模型框架FUNDED,利用图神经网络(GNNs)构建基于图关系的漏洞模式匹配方法,用以捕获程序的控制,数据,调用和依赖等代码间的关系
基于内容的图像检索作为信息检索领域重要的研究技术之一,可以在海量的图像数据中检索出所需要的数据,在大数据时代背景下具有重要的作用。社交媒体图像检索作为一个重要的应用场景,在长期的发展过程中,主流的方法都将图像使用单个特征进行表示,其内在的缺陷导致检索形式单一、检索效果欠佳。在实际的检索应用中,人工标签缺乏导致训练不佳、维度灾难导致检索响应慢等问题也会同时出现。在本文中为了解决社交媒体图像检索在实际
口腔白斑(OLK)是一种有癌变风险的慢性疾病,但由于其癌变潜伏期长,人们容易对其忽视从而导致严重后果。目前对于口腔白斑的诊断主要依靠专业口腔医生视觉判断,但由于口腔白斑的病变组织与口腔内其他健康组织极为相似,疾病的误诊率较高。利用图像分割进行口腔白斑辅助诊断能够在一定程度上降低疾病误诊率,但由于口腔白斑病灶形状复杂、质地不够均匀、病变区域特征信息丰富等原因,传统的Mask Scoring R-CN
临床诊断和定量分析通常需要高分辨率的磁共振(Magnetic Resonance,MR)图像。然而由于新生儿大脑体积小、大脑发育不成熟和缺乏专用成像设备等因素,磁共振扫描仪采集的新生儿图像存在分辨率不高、信噪比偏低和部分容积效应等失真现象。为了提高新生儿磁共振图像的质量,超分辨率(Super Resolution,SR)技术是一种有效并且可行的方法。与传统的图像超分辨方法相比较,基于深度学习的方法