基于多模态融合的人脸识别研究与应用

来源 :四川大学 | 被引量 : 0次 | 上传用户:sqlwcsqlqs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化进程的加快,以人工智能为代表的新兴技术学科正不断演进发展。人脸识别技术作为人员辨别的重要表达,在生物识别领域中有着重要的研究意义。同时,其以非接触式识别的特点在监控、安防等工业生产领域得以广泛应用。目前,基于二维图像的人脸识别技术有着最普遍的运用,但由于二维人脸识别常受到光照、妆容、姿态等因素影响,从而导致识别效果不佳。相比而言三维人脸数据由于具有空间信息,在一定程度上可以解决二维人脸识别中存在的问题。但在实际应用场景中,现有的三维成像设备所获取的数据存在大量残缺,因此三维人脸识别还难以得到广泛应用。针对二维与三维存在问题,为了进一步提升人脸识别率,本文主要研究多模态融合的识别方法,从多个角度进行多模态融合的方法研究。本文的主要工作包括:(1)针对多模态数据的特性,提出并设计一种通道融合的多层次特征拼接的识别算法。针对多模态的互补性,设计基于双路多尺度特征融合算法。两种融合算法均使用了全局注意力机制。在实验对比发现,注意力模块能给人脸识别带来一定的提升。而且两种融合算法在与单模态对比中,首选识别率均提升至少3%。而针对像素对齐的数据,多层次特征拼接算法相比双路多尺度特征融合有着明显的优势。而针对像素未对齐的数据,双路多尺度特征融合算法有着较好的表现。(2)为了满足实际应用场景,提出一种基于深度图残缺程度粗略判断的方法。根据深度图残缺程度来确定分数融合的权重,通过对不同残缺程度深度图的融合有效性验证,确定了各个残缺度下分数融合的权重。为了进一步验证基于残缺程度的分数融合策略的有效性,基于多个网络测试结果,本文提出的分数融合方法相比传统的融合均在首选识别率上提升约为1%。与针对高精度多模态数据融合算法相比,本文的分数融合方法在应对缺失深度图的融合上更胜一筹。(3)设计一套前、后端分离的多模态人脸识别闸机系统。首先使用小型化快速成像三维设备进行数据采集;其次将基于深度图残缺判断的多模态分数融合识别方法应用在系统上;最后在实际场景中进行测试,发现多模态的识别相比二维识别首选识别率提升约为3%。整个系统设计基于无接触式的注册识别一体化方案,具有更高的灵活性。
其他文献
三维人脸重建技术逐渐开始受到学者们的关注并在安防、医疗美容、影视娱乐等多个领域进行应用。目前三维采集需要通过昂贵的专业三维采集设备且需要较长的采集时间,而基于单张照片的三维人脸重建技术具有只需要用手机就能对人脸进行采集的优点。目前基于二维人脸照片进行三维人脸重建的算法生成三维人脸模型不能很好的表示人脸的细节信息,如皱纹等。对于以上问题,本文提出一种利用卷积神经网络对单张人脸照片重建出具有细节信息的
近年来随着5G、云计算、物联网的快速发展,各种网络应用层出不穷,网络规模不断扩大,网络流量爆发式增长。如何通过对网络流量的合理调度,避免网络拥塞,提高网络资源利用率,保证用户体验质量,越来越成为网络领域需要重点研究的问题。随着SDN网络架构的提出和对网络数据收集、分析能力的增强,再加之深度学习与深度强化学习在自适应学习、自动控制等领域的突破性进展,为可实时适应网络变化的动态、智能流量调度方法的实现
飞行模拟机在民航飞行员及相关从业人员的培训中具有极其重要的作用,可以显著的降低训练成本和提高训练安全性。飞行教员带领学员使用模拟机训练,一般按照训练清单进行逐项练习,根据训练大纲和个人经验对学员的表现进行评分,随后根据学员的分数安排后续训练。但是面对大量的考核项目,教员的评分容易受到疲劳和个人主观因素的影响,由此造成的评估偏差不利于受训人员水平的提高,造成大量的人力物力损失。现有解决此类问题的方法
在人脸识别领域,由于人脸数据易于获取的特点,使得人脸识别系统容易受到演示攻击,所以需要利用人脸活体检测技术对演示攻击进行防御。人脸活体检测技术通过检测并过滤伪造的攻击图像,达到抵御攻击的目的,从而避免人脸识别系统被攻破而造成的不必要的损失。本文首先从人脸活体检测数据集开展研究,针对现有数据集存在的一些问题,提出了一种多模态人脸活体检测数据集构建方案。然后在此基础上对基于深度学习的人脸活体检测算法进
飞行模拟机是用于训练飞行过程的产品,系统通过逼真地模拟,提供一个接近真实的飞行训练环境,达到训练飞行驾驶操作的目的,系统主要由飞行系统、飞机系统和视景系统等组成。其中,视景系统需要极高的实时交互性和稳定性,而视景系统中大量三维模型数据处理及各种视景特效处理算法都极其消耗系统存储资源和计算资源,这大大影响了系统的实时性与稳定性,给视景渲染带来了极大压力。虽然目前的显卡在硬件级别上能对三维渲染进行一定
随着数字媒体技术的普及和计算机视觉领域的快速发展,平面目标跟踪作为一种重要三维跟踪技术已被广泛应用于三维重建、军事制导以及无人机等多个技术领域。尽管众多研究者在该领域已经取得了丰硕的研究成果,但仍存在诸多问题尚未解决。例如,在背景复杂或者在视点快速移动的场景中,视频图像中纹理重复或者缺失会导致所提取的关键点特征信息不准确;超出视野或遮挡等场景容易造成基于区域的方法失效;视点快速移动则会引起跟踪目标
在互联网时代,Web应用发展迅猛并且正在成为许多领域的核心业务,是信息共享和资源获取的重要载体,其安全性和可靠性也成为了许多企业和研究者重点关注的问题。Web应用中的交互通常强烈依赖于用户的交互式输入,并且由于编程人员的经验不足或安全意识的缺失导致了输入约束漏洞,而这个漏洞常常导致应用程序被网络攻击,造成信息泄露和系统破坏等不可估量的损失。随着Web应用客户端计算功能的强大和用户对实时信息与实时互
濒危动物的保护对维持生物多样性至关重要。如果无法有效保护濒危动物,可能会导致地球生态系统失衡。随着全球变暖的加剧,濒危动物栖息地的丧失,濒危动物的保护变得越来越严峻。如果能及时并准确地识别濒危动物个体,就可以长期跟踪了解动物及其种群的行为和生活状态,从而更加有效地保护它们。为了确定某一只动物的身份,目前常采用的方法有人工目视检查、收集动物的排泄物或生物学样本、在动物身上附着传感器或者在体内植入微电
大坝水利工程作为最重要的水利工程之一,有利于调节河流径流,改善库区气候,也可以用于防洪、航运、发电、灌溉、水产养殖、旅游等重大工程。然而,大坝水利工程的体量一般很大。一旦发生事故,后果不堪设想。在水利水电建设工程中,灌浆工程是地基防渗和加固的重要工程措施,同时也是许多地下工程提高地基承载能力和防渗能力的技术手段。随着大坝水利工程数量的不断增多,工程所处地理位置的地质条件更加复杂多变,对灌浆工程质量
军事复杂软件系统继承了复杂软件系统和军事应用的双重复杂性,同时还受到军事领域的外部规则限制,形成了相对封闭的软件生态系统。2017年以来,美军加快了软件采购与开发方面的改革,2020年正式发布了“自适应采办框架(AAF)”在包括软件在内的6个领域全面实施“敏捷采办”,在“软件采办路径”中明确“政府和软件承包商应当采用‘现代迭代软件开发方法’”,下步将会全面实施敏捷开发、精益实践、Dev Sec O