基于注意力机制与残差网络的多姿态人脸生成与识别方法研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:tongjm2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着限制性条件下人脸识别技术研究的不断深入研究,这项技术也愈加趋向于成熟,且准确率颇高。然而在非限制性条件下,由于光照、表情、遮挡、姿态等外界因素的不可控,会导致人脸识别的性能下降,其中姿态变化由于会带来面部的刚性形变,影响人脸的对称性与完整性,是人脸识别中遇到的首要瓶颈所在。在此背景下,本文针对姿态变化导致的人脸识别准确率下降的问题,研究从单一姿态的人脸图像中生成多姿态人脸图像,并设计了基于注意力机制和残差网络的多姿态人脸生成与识别算法。针对当前多姿态人脸生成面临着人脸合成外观严重失真的挑战,以及由于单一途径的编码器解码器网络所产生的人脸图像可能会保留“不完整”的身份信息。本文设计了一种基于特征融合和姿态融合的方法,并提出了通道注意力机制模块和残差卷积模块。通道注意力机制模块负责将各个通道按照其重要程度进行建模,抑制不重要的通道,提升重要的通道,解决了目前自编码器网络只能处理较小姿态变化的人脸图像,有效提升了大姿态下的人脸生成性能。残差卷积模块以跳层连接的方式实现,使得输入信号得以从低层直接传播到高层,整个网络的传播能够更加流畅,解决了传统生成对抗网络中容易存在的梯度消失和梯度爆炸的问题,学习到人脸面部的隐藏特征、深层特征。本文提出了用于多姿态人脸合成的身份保护表示生成对抗网络(Identity Preserving Representation Generative Adversarial Network,IPR-GAN)。IPR-GAN用一个多任务框架来解决多姿态人脸合成和识别问题,并为下游任务如人脸识别和姿势估计保留姿势不变性的身份特征数据。通过身份保留模块,对人脸的五官特征提取局部特征,而后根据局部特征进一步融合提取全局特征,可以在大姿态旋转时保留和表示身份信息。本文在生成器训练时加入了姿态损失函数和身份特征损失函数,并引入全变分正则化损失函数来避免生成图像的鬼影与残影。上述算法,在Multi-PIE、LFW、CFP数据集上分别对多姿态人脸生成和识别进行了实验和验证,其中在多视角的人脸生成中,可以生成与原图较为相近的人脸面部图像,同时也保留了身份信息,在人脸识别中,与Res Net50和CR-GAN相比,在CFP-FP数据集上准确率分别提高了5.5%和7.2%,论证了模型方法的有效性。
其他文献
脑肿瘤属于一种恶性程度非常高的疾病,它往往会对患者躯体和认知引起复杂的损害。脑肿瘤患者脑部MR图像的有效分割往往能帮助医生对患者做出正确的诊断和治疗。通常,脑部的MR图像拥有T1,T2,T1C,FLAIR四个模态,但在实际的临床实践中,因受到设备等条件的限制,病人往往仅拥有部分模态,从而造成了脑肿瘤分割不精确的问题。因此,基于缺失模态脑肿瘤MR图像自动分割研究对于脑肿瘤患者的病情诊断及治疗具有较为
学位
为比较两种氟苯尼考注射液的药物代谢动力学,选择30只健康鸡随机分为两组,分别单剂量20 mg/kg bw肌内注射受试制剂和参比制剂,于给药后0.167、0.33、0.5、0.75、1、1.5、2、4、6、8、12、24、48 h翼下静脉采集血样。用超高效液相色谱法(UPLC-UV)测定血浆中氟苯尼考的含量,并用WinNonlin 8.1非房室模型计算主要药代动力学参数。结果显示,受试制剂和参比制剂
期刊
期刊
传统计算机中存储与计算分离的体系结构是形成“冯·诺依曼瓶颈”的根本原因,而大数据时代的到来使得这一问题日益突出。忆阻器(memristor)因其结构简单、尺寸可缩小性好、读写速度快、擦写耐受性高、具备多维存储能力等优点受到广泛关注。根据忆阻器的阻变特性以及基尔霍夫定律和欧姆定律,可以直接利用忆阻器的状态构建逻辑计算,这种状态逻辑实现了数据存储与计算在物理单元上的融合,是打破“冯·诺依曼瓶颈”的有效
学位
阐述轨道交通系统的特性,轨道交通安防系统的框架,包括同源架构平台集成、异构平台集成,探讨轨道交通智能安防运营的场景。
期刊
<正>随着新课程改革的持续深入,人们对教育的关注已经不再局限于对外在规模发展的重视,而是逐渐认识到教育教学质量的重要性,强调转变机械训练、填鸭式教学,促使学生能够在学习过程中真正获得新知识获取能力、问题分析解决能力以及合作交流能力。2021年教育部明确表示,作业管理是教育改革五项管理之一,同时针对作业做出了明确规定,强调教师与学校都必须充分展现作业的育人功能,减轻学生过重的学业负担。
期刊
流数据是一种具有快速产生、一次处理、不断变化和无限等特点的数据序列,这使得传统的数据挖掘手段难以适用于数据价值分析。挖掘流数据中潜在的数据分布,分析其演化规律,从而发现其中隐藏的数据价值成为了一个有待解决的问题。针对上述问题,本文以流数据为研究对象,对具有演化特性的流数据潜在的数据分布和演化规律进行了深入研究。本文的贡献主要包括以下三个方面:首先,针对现有的流数据聚类方法不能反映具有重复出现价值类
学位
Stack Overflow是广受欢迎的编程问答社区,每天有大量的用户在社区提出不同质量水平的问题。为了确保整个社区的质量,给用户带来良好的使用体验,问答社区需要及时关闭那些低质量的问题(如重复问题或不相关的问题)。社区授予主持人和有经验用户审阅问题质量的特权以关闭质量较差的问题。用户对问题的审阅过程是一项典型的众包工作,依赖于用户自愿参与:用户需要自发地浏览问题并对低质量的问题进行投票,如果票数
学位
空间目标监视雷达与地基精密跟踪成像雷达是外层空间信息感知的重要手段,相较于二维逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)成像,其对空间目标观测形成的三维ISAR图像能够更加真实地反映目标散射点的实际三维分布结构,在判别空间目标类型、分析目标重要结构、推断目标功能属性方面发挥着不可替代的作用。空间目标监视雷达在实际工作过程中同时承担了搜索、跟踪、定轨
学位
目前为止,视觉是人类感知世界的重要方式之一。事件相机是一种生物启发式的视觉传感器,其工作原理与传统相机截然不同。传统相机按照固定帧频率拍摄图像;事件相机捕捉像素级的亮度变化,其输出具有稀疏性和异步性。受益于其独特的工作方式,相比于传统相机,事件相机拥有高时间分辨率、低延迟、高动态范围、低能耗等诸多优点,在高速运动、光照条件较差以及工作平台资源有限等具有挑战的环境下更具有性能优势。在消费电子、工业自
学位