基于深度卷积神经网络和时空特征的视频重建研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:xxq0108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于外部环境、成像乃至传输过程中存在着信号干扰、污染或者损失,在航天对接、医疗分析等对清晰数据存在较大需求的领域,视频重建具有重要的理论和实际应用价值。传统重建算法主要存在实时性较差、复杂度高且泛化能力较差等问题,对复杂运动场景及干扰不能达到理想的效果。如何通过对先验知识的充分利用以及外部数据集的有效挖掘,实现视频视觉分辨率和清晰度提升,是目前亟待解决的问题。本文通过对传统去噪和超分辨率重建算法进行了研究,结合深度卷积神经网络以及视频数据的时空特性,对视频重建算法进行了改进。本文完成的主要工作如下:(1)针对传统去噪算法对复杂噪声泛化能力不强的问题,提出了基于残差卷积神经网络的视频去噪算法(ResDN)。利用时空非局部相似性构建低秩矩阵,并通过低秩矩阵分解实现稀疏字典的生成以及粗粒度噪声的盲去除。针对噪声和微小细节信息难以区分问题,利用卷积神经网络对滤除的残差再处理,实现有效细节信息的提取和增强,从较细的粒度保留更多的细节信息,提高待重建视频的分析和利用价值。实验结果表明所提方法相比BRFOE、SSC_GSM和NCSR算法取得了较好的去噪效果,在PSNR指标上分别提升22%、2.0%9.8%,在 SSIM 指标上分别提升 65.1%、3.5%、24.2%,在 FSIM 指标上提升14。5%、2.6%、7.4%,在RMSE指标上降低了41.9%、42.4%、39.9% 。(2)针对基于稀疏重建的超分辨率算法实时性较差,不能充分利用视频本身先验知识的问题,提出了基于卷积神经网络的视频超分辨率重建算法(STCNN-SR)。利用深度卷积神经网络构建关联映射学习模型,通过前向传播实现稀疏编码和解码过程,提高重建时效性和有效性。采用矩特征、结构特征对视频帧间非局部相似性量化,通过量化结果将可信度较高的先验知识融入到映射结果中,优化误匹配和不一致块。实验结果表明所提方法相比ScSR、NL-SR、CNN-SR、DPSR、Video Upsampling以及ZM-SR算法获得了更好地重建效果,在 WSNR 指标上分别平均提升 9.7%、6.4%、8.9%、8.5%、9.0%、6.2%,在 MS-SSIM 指标上分别提升 4.3%、2.3%、4.3%、4.2%、3.1%、1.6%,在 FSIM 指标上提升 4%、2.3%、4.6%、4.3%、3.7%、1.8%,在 RMSE指标上降低 17.7%、17.0%、19.1%、17.0%、16.2%和 9%。(3)针对基于卷积神经网络的视频超分辨率重建算法存在噪声放大的问题,提出了一种基于时空特征和卷积神经网络的视频超分辨率重建算法(STCP-SR)。在计算视频特征描述子进行非局部相似性量化的同时,提取待重建块的高斯分布特征,实现与外部信息的关联。从而可以更有针对性的利用外部信息,进行细节补偿、噪声抑制等操作。这个操作基于相同高斯分布图像块集构建的解析字典实现,通过稀疏编码实现无关信息的滤除,提升重建性能。实验结果表明所提方法相比 ScSR、DPSR、CNN-SR、CSCN、LASSC、NL-SR 以及 VideoSR算法获得了较好的重建效果。在客观指标评估上,与对比算法相比在PSNR 指标上平均提升 7.2%、6.8%、7.7%、7.4%、5.6%、4.8%和 6.1%,在 SSIM 指标上分别提升 5.6%、5.5%、5.7%、5.9%、4.0%、3.1%和3.3%,在 IFC 指标上提升 4.0%、3.4%、4.1%、4.2%、3.7%、2.8%和3.1%,在 RMSE 指标上降低 18.0%、17.3%、19.6%、18.0%、16.5%、16.5% 和 16.5%。(4)设计并实现了基于深度卷积神经网络和时空特征的视频重建系统(STNN-RS),主要功能模块包括视频预处理、视频去噪和视频超分辨率重建三个模块,并提供指标评价接口对所提算法进行分析与评价。主要评价指标分为视频质量评价和视频参考评价两个方面。测试发现STNN-RS系统平台运行正常,可以实现较好的视频去噪和超分辨率重建效果,实现视频质量的增强,从而对本文所提的各种算法提供了有力验证。
其他文献
一、引言2010年,《盗梦空间》作为一部悬疑心理学电影在北美公映后,引起了社会上对于心理学相关知识的讨论热潮。这其中,对于梦境的关注最为广泛,也正是通过这部电影,人们渐渐对一
目的探讨10 Hz重复经颅磁刺激(rTMS)对抑郁症患者前额叶和丘脑神经生化代谢物质和疗效的影响。方法符合美国精神障碍诊断与统计手册第4版(DSM-Ⅳ)抑郁症诊断标准,18-45岁的右
血凝试验及血凝抑制试验因其简便、快速、准确、实用被广泛应用。但在试验过程中,人为因素的影响很大,常常因为操作不规范等,导致试验结果不准确,甚至失败。因此,要了解试验
本研究的核心内容是探究大学生专业承诺与学习投入和学习收获之间的影响机制。研究过程中自编了《大学生专业承诺量表》,对《学习投入量表》做了修订,改编了《大学生学习收获量
目的:提高乳腺癌改良根治术患者生存质量.方法:对1995年~2000年施行的保留支配胸肌神经乳腺癌改良根治术53例进行回顾性分析,了解其腋窝淋巴结清扫数量及术后胸肌功能,手术时
目的探讨枸橼酸氢钾钠颗粒联合别嘌呤醇对尿酸性肾结石排石治疗的促进作用。方法尿酸性肾结石42例,随机分成实验组和对照组。实验组22例,口服别嘌呤醇+枸橼酸氢钾钠颗粒;实验
源自认知心理学的图式理论已被广泛运用于英语听力教学研究。文中阐述了在图式理论指导下的英语听力课堂教学活动设计。教师要注意听前、听中及听后的图式的激活、建立和巩固
政策性银行的客户营销战略是其各项业务有效开展的助力器。中国农业发展银行就其政策使命而言,其信贷业务的有效开展,关乎农发行能否高效率、高质量履行农业政策性银行职责以及
伪狂犬病(Pseudorabies,PR)是由伪狂犬病病毒(Pseudorabies virus,PRV)感染所致的一种急性传染病。猪是PRV的主要贮存宿主,PRV可以导致仔猪高死亡率以及母猪繁殖障碍,给养猪业造
0前言 乒乓球运动在我国一直被誉为“国球”,在技术上。我们的国手的竞技水平在世界上独占鳌头,在奥运会、世锦赛等多项大赛中取得了喜人的成绩,为国家争得了荣誉。而且,乒乓球球