基于深度学习的端到端图像视频压缩框架

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:ln466985609
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像和视频压缩一直是学术界和工业界研究的热点之一。近年来,随着深度学习技术的发展,尤其是卷积神经网络在图像处理和计算机视觉领域的成功应用,利用深度学习技术来对图像和视频高效压缩成为可能。目前深度学习技术在高层视觉领域,如图像分类,目标检测,目标跟踪,图像分割,人脸识别等,已经取得了突破性的研究成果,然而在低层视觉上,如图像压缩,图像复原等领域的应用还具有很大的研究潜力和价值。本文以深度学习技术为基础,主要研究工作分为以下两个部分:一、提出了基于深度学习的端到端图像压缩框架,将深度学习技术与传统的图像编解码器(如JPEG,JPEG2000和BPG等)无缝的衔接起来,进一步提高编解码器的压缩性能。二、着眼于视频帧率转换中的插帧技术,提出了基于运动补偿模型的深度学习插帧网络模型。为了能提高压缩图像质量的同时提高压缩比,我们将两个卷积神经网络和传统编解码器整合到一个端到端的图像压缩框架中。第一个卷积神经网络Com CNN在编码器前端,用来学习原图像的紧凑表示,学习到的紧凑表示被送到传统编码器进行编码。第二个卷积神经网络Rec CNN在解码器后端,通过解码后的紧凑表示来高质量的重建原图像。为了让这两个卷积神经网络互相协作学习,我们提出了一个端到端的学习算法来同时学习Com CNN和Rec CNN,学习到的Rec CNN可以精确地重建原图像。本文提出的图像压缩框架可以兼容现有的编解码器。实验结果表明,本文提出的图像压缩框架远优于其他的图像压缩后处理方法,提高了传统编解码器的压缩性能。在低带宽环境下,视频帧率转换技术是视频压缩的关键技术之一。本文提出了一种基于运动补偿的视频插帧深度网络模型MCIF,其中运动补偿子网络MCsubnet可以准确估计前后帧运动信息。在MC-subnet网络模型中,利用了前后帧的多尺度特征,让网络更加精确地学习到多种运动模式。图像质量增强子网络QEsubnet采用慢融合的网络结构,生成了高质量的中间帧。实验结果表明,本文提出的视频插帧方法可以更精确地捕捉运动信息,生成的中间帧质量更好。
其他文献
水库防凌补偿效益是以明确水库与相关对象权利与义务关系为目的的,科学合理计算防凌补偿效益是基础。本文通过分析黄河上游梯级水库群中大柳树水库的防凌补偿效益,计算得到消减
<正> 周毅、向明同志的《爱满天下—陶行知文学传记》,是第一部反映陶行知整个一生的文学作品。该书以丰富而翔实的史料,以饱含激情的笔调,描绘了陶行知半个世纪以来的教育生
随着市场经济的发展,西安市旅馆业也呈现出蓬勃发展态势,已成为第三产业的重要组成部分,由于其主要面向外来流动人员,已成为城市形象的重要标志之一。然而,喷发式发展的背后
东汉帝陵地望问题可以分解成陵区地望、陵冢地望、陵冢归属三个不同的层次,其研究说到底是在明晰东汉陵区布局架构前提下的陵墓归属研究。东汉帝陵地望问题是所有关于东汉帝
北京科技大学和连云港东堡专用车有限公司在吸收国内外平板车先进技术的基础上开发设计了一种具有自主知识产权的自行式可拼接重型平板车,该平板车属于专用运输车辆,采用静液
《申报》(1872——1949)是一份影响深远的近代华文报,由英国商人美查与友人在上海汉口路创立(原名《申江新报》)。本文以初创时期的《申报》为研究对象,通过对报纸的报头、标
“义务教育是消除分化与差异的重要途径,也是造成社会分化与差异的一个重要原因。”我国1986年正式颁布实施《义务教育法》,2000年我国初步实现了“两基”(基本普及九年义务
绿色设计理念在室内软装设计中的应用研究,是基于人们对于现代工业和科技迅速发展引起的对生态破坏的反思,以及随着人们生活水平不断提高对物质更高品质、健康、个性化的需求
目的:探讨大学生自我和谐与自杀态度之间的关系,以及生命意义在两者之间的中介作用。方法:采用自我和谐量表(SCCS)、生命态度剖面图量表(LAP)和自杀态度问卷(QSA)对温州市3所高校660名
<正>(一)保险丝是串联在电路中的重要元件,一般要求电阻较小。当电路正常工作时,保险丝只相当于一根导线,能够长时间稳定地工作,电流产生的热量通过熔体(保险丝)表面向周围环