基于特征融合网络的视频人脸识别技术研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:water_please
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频处理一直是计算机视觉领域活跃的研究方向。其中,基于视频的人脸识别在该领域引起了广泛关注。视频比图像多了一个时间维度,且对人脸识别有以下不利因素:模糊、遮挡、光线变化,甚至是镜头远近的影响,这导致个别视频帧质量过于低下。且由于人脸视频较长,前几帧与后几帧的面部姿态、面部大小等变化较大,往往生成不利于特征提取及融合的噪声。如何从视频中提取利于预测的特征表示尤为重要。当视频序列长度较短时,多尺度特征提取网络的设计能够高效地提取每个帧的人脸局部细节特征,本文提出的帧结构感知聚合网络则对该特征进行特征融合,最终得到人脸视频序列的整体特征表示并进行识别。针对过于冗长的视频序列,本文方法将视频序列进行分段,结合提出的多头卷积注意力模块提取并融合长视频的特征,以去除冗余噪声。分段损失的设计能够加快网络的训练速度并提高模型抗干扰的能力。本文研究了结合帧结构处理、多尺度特征提取及注意力机制的视频人脸识别技术,主要研究工作如下:(1)针对短序列且帧质量较差的人脸视频序列,提出了多尺度特征提取网络和帧结构感知聚合模块旨在构建一个整体的视频帧特征表示并进行识别。首先,利用多尺度特征提取网络提取视频帧的特征表示,随后训练特征融合网络并赋予每个视频帧特征表示的对应权重来达到对帧进行重要性评估的目的,同时结合帧间关系的挖掘对上下文信息进行有效建模。与传统的挑选关键帧进行识别的方法相比,本文方法能够更高效地利用各个视频帧的特征及其空间结构信息;在两个公开的视频人脸识别数据集IJB-A及YTF上的实验结果表明,本方案在视频人脸识别的效果上与最优的对比模型相比分别有着0.25%及0.6%的提升。(2)针对过于冗长、低质帧较多的人脸视频序列,提出了基于分段策略和多头卷积注意力的视频人脸识别方法。首先,采用分段策略对视频进行映射,并进行特征、位置嵌入,以避免序列跨度较长而引起的面部变化对特征提取的影响;接着,利用卷积神经网络结合Transformer编码器设计了多头卷积注意力模块,使本文提出的分段视频人脸编码器能有效地提取视频帧的上下文信息并进行特征融合;最后,构造了分段损失函数,以减小低质量帧对模型识别准确率的影响,提高模型处理冗长视频序列的能力。在两个公开的视频人脸识别数据集IJB-A及YTF上的实验结果表明,本方案的识别准确率分别比目前主流的视频人脸识别模型要高出0.47%-2.87%及1.26%-1.42%。
其他文献
超表面是一种人工设计的复合结构,其展现的负折射率、负介电常数、负磁导率等自然材料难以实现的电磁特性为调控电磁波的振幅、相位和极化等参数提供了前所未有的可能性。本文围绕超表面对电磁波灵活调控展开研究,基于电磁理论分析,设计了反射型线-圆/线-交叉线极化转换器、透射型线-圆极化转换器和可调超表面功能器件并通过全波仿真验证了其电磁参数且研究了其电磁特性。本文的主要工作如下:(1)针对不同的电磁波极化应用
学位
本文研究基于相关滤波的长时目标跟踪方法,主要针对目标尺度变化、目标遮挡和目标消失重现等问题展开研究,主要研究工作包括以下三个方面:(1)采用背景上下文感知模型的长时目标跟踪方法针对在长时目标跟踪中由于外界环境变化以及自身变化带来的目标外观变化问题,提出一种基于背景感知模型的在线跟踪方法,该方法结合了上下文感知公式、卡尔曼滤波、基于响应图的遮挡检测和基于平均峰值相关能量的模型更新。与各种算法相比,该
学位
随着科技的不断进步,甚高频和甚低频通信都得到了长足的发展,其中甚低频通信由于频率低、衰减小(水中)和传播距离远等优点被广泛应用于对潜通信、水下中距离通信和空中通信等领域。然而在对潜通信中,水深对甚低频信号呈非线性衰减,使得接收的甚低频信号极为微弱。为了保证通信质量,势必对甚低频弱信号采集系统的增益和本底噪声提出更高要求。基于目前对甚低频弱信号采集系统的高要求,本文提出了一款甚低频弱信号前置放大及采
学位
六朝时,绘画作为独立的艺术门类开始兴盛,对画家的品评也逐渐丰富。顾恺之与陆探微具有间接的师承关系,画史中以多种文本、不同角度展现了对顾恺之与陆探微的推崇,这是人们对于六朝时期书画家生活的最有力记述。将史料记载与后世摹本对照,可以梳理出“传神写照”自顾恺之到陆探微的发展脉络。书画家得到画史公认的成功,不仅仅需要精湛的画艺,还来自社会群体对他的接受与认同。画史中的叙事无关历史的真实,或对某一事件的适当
期刊
传统版画艺术与当代版画创作有着较多相似点和不同点。当代版画创作彻底转变了版画的复刻模式,凭借版画创作者的奇思妙想进行自由创作,运用丰富的语言符号和多样化的载体突出了版画艺术的表达效果,增加了版画作品的审美价值和艺术感染力。利用先进的传播技术,扩大了版画作品的传播范围,为版画创作者和受众建立了情感共鸣的渠道,引发了受众对版画作品的深入思考。版画艺术备受认可和推崇,获得了高速发展,在艺术领域的地位也在
期刊
透镜天线因具有低副瓣、高增益、无馈源遮挡等优点获得重要应用。但是,现代雷达、通信、电子对抗和测量等无线系统往往要求天线具有宽工作频带、高增益、高口径效率和优良辐射方向图等特性,这就使传统的透镜天线难以满足要求。然而,透镜天线具有设计自由度高的特点。这意味着有可能通过结构设计实现满足需求的透镜天线,特别是3D打印技术的发展使得我们可以实现结构复杂的透镜天线。然而,高的设计自由度和复杂的结构又给透镜的
学位
随着体域网相关技术的不断发展,体域网组网的趋势愈加明显,而6 G通信技术又进一步推动着体域网的成型。可以展望,未来这些相关技术会被集成在人体上,形成各通信模块的互联,届时供电将成为一个必须面临的问题。为此,本文研究将动能通过无线方式进行能量传输的天线技术,主要研究内容如下:(1)提出体表无线能量传输理念。依据手臂直径与ISM频段中5.80 GHz的波长可比拟的特点,研究真实的非均匀固态电磁仿真模型
学位
建筑物作为人类活动的重要场所,其信息是了解城市发展的重要凭据。遥感卫星能够获取大范围、高实时性的地表观测数据,尤其是高分辨率遥感影像可清晰的显示城市空间地物要素,有助于掌握城市的建筑物现状规模布局。从高分辨率遥感影像中准确提取建筑物在建筑普查、违章建筑执法、城市发展规划、高精度地图更新以及地震灾害评估等方面具有实质的应用价值。高分辨率遥感影像城市场景下建筑光谱、形状纹理、尺度差异大,且存在相似地物
学位
本文介绍了南宁市富硒土壤分布、农业基础及富硒农业发展的现状。同时,针对富硒农业发展不平衡、规模总量小、人才供需矛盾、市场普及率、品牌建设等问题进行了分析,提出了引导产业集群化、补齐人才短板、加强消费者教育和政企协联动等发展对策。为南宁市推动富硒农业发展提供一定的参考。
期刊
国家财政部在2018年相继颁布了700系列管理会计指引,将风险清单法列为管理会计工具方法。风险清单法将公司风险管理以表格的形式展现出来,并与会计的计量属性相结合,以定性+定量的方式进行风险管理。通过对风险清单法的编制开展研究,分析其应用程序步骤,为风险清单法在管理会计中的应用提供支持。
期刊