视频直播中的轻量级图像超分辨率模型

来源 :华东师范大学 | 被引量 : 1次 | 上传用户:goer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像超分辨率是计算机视觉的研究方向之一,且在一些领域得到应用。以往的图像超分辨率大多侧重于重建质量;而对于视频直播场景而言,图像超分辨率不仅需要关注重建性能,更需要关注推理速度,从而模型的轻量化成为重要研究。此外,图像经超分辨率重建后图像像素呈指数倍上升,视频编码产生的码率亦随之增长,进而增加网络带宽成本,因此,在视觉无损或少损的前提下降低图像与视频的码率,也是图像超分辨率应用中需要考虑的因素。针对视频直播中的图像超分辨率问题,本文主要做了以下工作:(1)研究图像超分辨率模型的轻量化实现,提出了一个基于特征降维的轻量化图像超分辨率模型。该模型包含一个轻量级的下采样模块,在模型头部加入基于Pixel Unshuffle的特征下采样模块,在基本不丢失特征的前提下,降低特征尺度,以减少网络的计算量,达到快速推理的目的。在该模型的训练阶段,提出了一种基于高频增强的损失函数,以在模型的学习过程中,引导网络增强对于高频纹理的敏感程度,高效地重建图像中失真的细节纹理。提出一种基于视频压缩噪声模拟的数据集构建方法,对图像同时施加空域与时域的压缩噪声,最大化模拟了真实场景中的图像退化。(2)研究超分辨率在视频直播应用场景中的码率节省方法,提出了一种基于特征低秩重构的轻量级码率节省模型。在训练阶段设计了一种基于特征低秩重构的损失函数,该方法去除了图像中视觉无感的噪声细节。该模型有效地降低了图像的秩,从而在视频超分辨率的应用场景中,在视觉无损或少损的前提下降低了编码的视频码率,节省了超分辨率在直播系统中的应用成本。(3)基于上述模型与方法,设计并实现了一个视频直播系统。通过模型在视频转码子系统中的部署,使视频直播系统拥有了超分辨率重建与码率节省的能力,解决了由于推流端原始视频流质量低而无法观看超清视频直播的问题,验证了本文所提模型和方法的有效性。
其他文献
如今,人们对通过生物特征进行识别的方式的关注度逐步增高,现在已经发展成为了一个热点课题,其中的重要分支对说话人进行识别也随之进入了人们的视线。说话人识别操作简便,成本低廉,比起其他生物识别方式更容易被人接受。本文的目的便是尽可能快速且准确地对说话人的身份进行识别,并通过语音增强的方式减弱可能会有的噪声影响。主要工作如下:首先,我们对语音进行预处理和特征提取,通过矢量量化的方式,利用得到的语音特征来
学位
国家在十四五规划中的明确提出了重点把车联网,新能源汽车作为国家战略性新兴产业,自动驾驶技术也随之迅猛发展,然而在发展的同时,也酝酿了多起因技术不成熟而导致的悲剧,严重阻碍了发展,技术上面临着许多挑战,在国内复杂的道路情况下,障碍物,雨天等恶劣天气很大程度上影响着接收器数据的质量,甚至会导致数据的丢失,极大的影响了自动驾驶过程中目标检测的精度,因此本文提出了新的一种图片融合点云的多模态端到端网络,通
学位
可倾瓦在检修过程中常因检修工艺不同,导致机组运行时轴瓦振动大、瓦温高,影响机组的安全运行。本文提出了一种新的可倾瓦顶部间隙、紧力的测量方法。
期刊
介绍两种典型的可倾瓦轴承间隙公式推导过程及测量方法,分析在使用抬轴法测量时,5块可倾瓦在轴承中的布置与修正系数的关系,并说明常见固定瓦轴承的轴承间隙测量方法。
期刊
阅读是人类个体学习和进步的重要手段,而数学阅读,在数学学科中也是发展学生自主学习能力、全面提高综合素质的重要途径。但是在目前高中的实际教学中对数学阅读不够重视,数学阅读也往往是许多高中生的弱项。而教材作为所有高中生能接触到的、最普及的阅读材料,却很少被全面、仔细地阅读。因此确定了研究问题为:高一学生对于数学阅读的态度、在数学阅读中的困难以及数学教材的使用情况如何?采用什么样的教学模式能够在日常教学
学位
各类医学文献,包括临床记录、论文研究等,数据急剧增长。以Pub Med数据库为例,其中收录的文献数量每年以指数级的速度增长。研究者需要一直跟进自己领域的研究动态,临床医生能获得的病人的生理和遗传数据会越来越多,如何能快速地从非结构化文本中获取结构化易于查询和关联的数据成为了生命科学研究和精准医学的热点和难点。使用自然语言处理技术处理生物医学文献的历史由来已久。然而当前对于生物医学领域的实体识别和关
学位
高三数学教学以问题解决为主,大量知识点与方法的交融导致了学生解题的困境。本研究试图通过辅助问题的设计来帮助学生寻求解题思路。本研究的问题为:围绕平面向量的数量积与平面向量基本定理,将辅助问题运用于平面向量问题解决,分别运用动点静止化、几何特征数量化、基底邻边化、夹角特殊化的的设计策略,高三学生的反馈情况如何?招募后始终参与本研究的高三理科学生共58名,在实施四节平面向量解题课的过程中,结合课堂观察
学位
随着传统中大型企业信息化水平的不断提高,其内部的应用与服务也越来越多,出现了多个应用依赖于某个应用提供的基础服务的情况。企业内部的应用原先大多使用了单体架构,这导致很多基础服务需要集成到每个应用中,这大大影响了应用的开发和维护的效率。因此,传统企业迫切地寻求建立一个统一的微服务架构体系,希望有一个微服务治理平台来管理、监控各个微服务,以及在微服务调用出现异常时发出告警。针对这一问题,本文设计并实现
学位
<正>设计理念笔者多年来的教学实践表明,只有合理整合教材,才可能实现教学内容和教学方法的完美统一,才能最大限度的满足学生对学习内容、教学方法的需求,充分调动学生学习的积极性,提高课堂教学的效益.本课的教学,我对现有的教材内容进行了整合,力求通过本课的教学,更好地理解定义与命题的含义,为后续的学习打好基础.学生知识状况分析学生技能基础:学生在以前的学习中接触了不少的几何知识,对很多名词、概念有了很深
期刊
在物理学科中,物理实验教学的地位举足轻重。然而随着疫情的来临,很多地方开始了网课,使得教师无法对着学生进行实验教学,此时在网上也可以演示、动手完成的仿真实验就成了必不可少的替代品。那么怎样的仿真实验才是好的?这里就需要有一个客观而明确的评价标准。本研究关注从学习心理学理论来分析仿真实验软件,主要工作如下:(1)仿真物理实验研究的价值:通过查找文献,检索出之前对于仿真物理实验的研究,发现仿真物理实验
学位