基于卷积神经网络的深度视频比特分配和码率控制研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:Tiny_Drunk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体和显示技术的发展,3D视频技术逐渐成为视频领域的研究热点。作为最常用的3D视频格式之一,多视点视频加深度(Multi-view Video plus Depth,MVD)格式通过增加深度视频和视点数量等方式为观众提供沉浸式视觉体验。如何在码率受限的条件下对深度视频进行高效编码,成为MVD视频需要解决的关键问题之一。深度视频的内容特性与彩色视频存在较大差异,针对彩色视频提出的方法在深度视频编码时具有一定的局限性。基于此背景,本文针对深度视频编码,结合卷积神经网络数据驱动的特性,从比特分配方案和码率控制模型两个方面进行了研究。本文提出了一种基于卷积神经网络的深度视频区域比特分配方法。在MVD视频中,深度视频主要用于绘制虚拟视点,深度视频的失真会导致虚拟视点中的几何位置发生变化。为了提高深度视频显著性区域的编码质量,本文首先设计了一个彩色信息辅助的深度图显著性提取网络。在对深度视频进行编码时,利用当前视点彩色图像信息辅助网络预测,获得深度图的显著性区域。然后,根据显著性检测结果,将当前帧的编码树单元分成显著的编码树单元(Salient Coding Tree Unit,SCTU)和非显著的编码树单元(Non-Salient Coding Tree Unit,NSCTU)。在已知帧级目标比特的条件下,为SCTU分配更多的目标比特。实验结果表明,所提出的方法能够有效提升深度视频显著性区域的编码质量。本文还实现了一种基于卷积神经网络的深度视频码率控制方法。首先,本文结合深度视频的内容特性,设计了 R-λ码率控制模型参数预测网络,在对深度视频进行编码时,利用当前编码树单元的像素信息预测码率控制模型参数α和β。然后,将训练好的网络集成到3D-HEVC标准参考测试软件平台HTM16.2中,取代传统的通过公式更新模型参数的方法。训练过程中,通过预编码和曲线拟合的方式构建深度视频训练数据。实验结果表明,所实现的方法可以有效提升码率控制的性能,在减少比特率误差的同时,提高了重建深度视频的质量。
其他文献
光场成像技术通过微透镜阵列结构可以实现对真实场景的光场捕获,以其拍摄简单、视点连续、色彩逼真的特点逐渐获得了消费者的青睐。然而,在网络带宽受限的情况下,如何对光场相机拍摄的光场图像进行有效地编码成为亟需解决的难题。光场图像拥有一些不同于传统自然图像的特点。因此,对光场图像的编码压缩需要在传统图像编码标准的基础上提出新的理论和技术。基于此背景,本文针对光场图像编码技术,利用卷积神经网络从亮度分量变分
近年来,利用蛋白质序列信息预测蛋白质相互作用(PPIs)的方法由于无需先验知识,且避免了传统生物实验方法耗时费力的弊端得到了广大的关注。如何对蛋白质序列进行有效地特征提取以及如何构建预测效果良好的机器学习分类器模型是目前基于序列预测蛋白质相互作用研究面临的最大问题。因此,本文从优化序列编码方法,改进分类模型的两个角度提出基于注意力机制的卷积神经网络模型,主要工作概括如下:(1)针对已有的联合三联体
面部表情识别是人脸研究的一个非常重要的模块,有广泛的应用场景,例如在智能安防场景下可以识别群体的情绪,来避免突发事件;在公安刑侦审讯过程中识别嫌疑人的微表情,来辅助办案人员判断其是否说谎;在网络授课过程中,通过摄像头捕捉学员的面部表情,来判断学生是否对授课内容存疑。但是仅仅是六种基础表情不足以描述复杂的人类情绪,针对这一问题,选择面部表情更为基础的单位——面部运动单元,而这些面部运动单元的组合可以
近年来,受益于深度卷积神经网络的成功,目标检测在准确性和效率上都取得了较大的进步。然而在算法的进步背后,海量的数据和注释必不可少。虽然通过相机或移动设备采集图像较为简单,但用于训练的目标注释需要在图像中确定目标的类别标签和边界框,人力成本较高。尤其是在需要专业知识或复杂的场景下,标注是难以获取的。尽管颇具挑战性,如何利用大规模未标注或部分标注数据减少标注成本并增强模型性能因其重要性正日益引起人们的
命名实体识别,指的是识别出待处理文本中指定类型的实体,这类命名实体具有特定的意义。在一般情况下,命名实体识别需要识别出的实体类型分为实体类、数字类和时间类这三大类,或进一步细分为人名、机构名、地名、时间、日期、货币和百分比这七小类。而在特定的领域中,会相应地定义领域内的各种实体类型。命名实体识别是自然语言处理中的一个基础性关键任务,为关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多自然语言处
深度神经网络是深度学习的一个重要模型,其往往拥有非常多的层次结构,包含输入层输出层和一系列的隐藏层。但是若只是单纯的添加更多的隐藏层,深度神经网络依然只是运算的简单线性组合,并不具有人工智能的真正意义。此时,激活函数的添加为神经网络添加了非线性的表达能力。随着集成电路的发展,越来越多的神经网络开始使用集成电路实现,而神经网络加速器实现过程中,激活函数往往是硬件实现中最昂贵且最难以实现的部分。本文针
近几年深度学习的蓬勃发展,基于深度学习的许多课题成为热点研究对象,模态识别问题作为其中热门课题之一,旨在通过单个或多个模态序列进行分类,进而学习不同模态对应的内容,最后输出为文本内容。这其中主要模态是听觉和视觉,目前双模态识别(听觉和视觉)由于数据集不够丰富、语言的多样性以及说话人习惯等限制仍处于发展状态。本文从模式识别的数学定义出发,将提出的问题进行数学建模,构建了双模态视听的架构,提出了一种新
当今时代存在着海量的以结构化或者半结构化形式存在的文本信息,隐藏着巨大的价值。因此,从海量的文本信息中提取有价值知识是一项十分重要的任务。信息抽取任务就是以此为目标而诞生的。论文研究信息抽取子任务之一的关系抽取任务。关系抽取,旨在从文本中自动检测和识别出实体之间具有的某种语义关系,是知识图谱构建和信息抽取中的一个关键环节,具有重要的理论意义和广阔的应用前景。论文的主要工作如下:1.将门控图神经网络
数十年来,不管是在心理学界还是模式识别界,人们都对面部表情进行了广泛的研究。目前更具挑战性的微表情识别研究也在兴起。微表情是指在人脸面部表现出微妙情感,它是一种快速而微弱的面部运动,人类几乎无法控制。尽管近年来人们对面部微表情的研究有了很大的进展,但在微表情识别方面仍有很大的改进空间。微表情分析在情感监控、犯罪侦查、心理治疗等许多领域都有应用。与传统表情识别相比,识别微表情更具有挑战性,因为微表情
气敏传感器能对易燃易爆、有毒有害气体等进行检测,在当今的生活和生产中有着广泛的应用。气敏传感器的性能主要由气敏材料决定,金属氧化物半导体材料具有良好的光电性能,并具有制备工艺简单、绿色环保等特点,目前已成为气敏传感材料领域研究的热点。ZnSnO3是一种三元金属氧化物半导体材料,不仅具有气敏性能,还具有UV光电性能。但ZnSnO3作为气敏材料,具有工作温度高的缺点,需在200℃以上才能表现出良好的气