【摘 要】
:
身份识别技术已经在人们日常生活中得到了很多的应用,一直是人机交互和人工智能领域的热点研究方向。其中,在无约束的环境下的大规模身份识别任务是一个极具挑战性的难题,利用多模态学习结合深度学习的方法解决大规模身份识别问题是一个很有效的解决方法,关键在于构建一个合理的框架融合各种不同的模态信息,并提升算法的分类能力,这种融合框架可以是基于决策层或是特征层的。同时还需考虑如何高效地提取不同模态信息的有效特征
论文部分内容阅读
身份识别技术已经在人们日常生活中得到了很多的应用,一直是人机交互和人工智能领域的热点研究方向。其中,在无约束的环境下的大规模身份识别任务是一个极具挑战性的难题,利用多模态学习结合深度学习的方法解决大规模身份识别问题是一个很有效的解决方法,关键在于构建一个合理的框架融合各种不同的模态信息,并提升算法的分类能力,这种融合框架可以是基于决策层或是特征层的。同时还需考虑如何高效地提取不同模态信息的有效特征。在传统的方法中,通常都是基于某种单模态特征进行身份识别的,如人脸特征、语音特征或指纹特征。这些传统的方法应用到真实无约束环境下都会出现识别准确率不高的问题。通过阅读和对比国内外大量的文献资料和实验结果,都说明了单一模态的身份识别算法在应用到不同场景时存在着很大的局限性,基于多种模态信息的身份识别算法在不同场景中都要优于基于单种模态信息的身份识别算法。本文所采用的基于多模态信息融合策略的身份识别算法,在融合框架下将人脸信息、头部信息和语音信息进行结合,提升算法的识别准确性和鲁棒性。本文的研究内容主要有以下几个方面:1.在数据集处理方面,数据集的好坏直接影响最后的结果,根据对原始数据的分析结果进行数据清洗,使用评价模型对数据内容进行评分,制定筛选原则对数据进行筛选,剔除信息含量少的数据,只保留信息量多的数据,降低数据集中的噪声,提升模型训练效果。2.在特征提取方面,需要从人脸信息、头部信息和语音信息中提取有效的特征,选用不同的人脸和头部检测算法获取人脸和头部的图像数据,然后使用Arc Face模型提取人脸和头部图像的特征,同时将语音信息以44100Hz的采样频率将音频转换为单通道16位的数据流,通过512点的快速傅里叶变换(FFT)获得频谱,不使用归一化处理,最后通过Rest Net模型提取语音特征。3.在融合算法构建方面,提出一种能融合多种单模态信息以及能完成在真实无约束环境下大规模身份识别的算法,构建基于特征层和决策层的融合框架,通过人脸质量评价模型获得质量分数以及从人检测模型获取置信度分数,利用两种评价分数计算权重,利用此权重构建一种能融合多种模态特征的融合策略,提升算法的鲁棒性和准确性。4.在解决大规模分类问题方面,提出一种能应用在身份识别领域使用的解决方案,以人脸质量评分划分不同的区间,并重新构建子数据集。通过子数据集训练多个分类器,再使用统计学的方法融合多个分类器的输出结果。对提出的多模态信息融合策略进行测试,并与单模态及其他多模态融合方法作对比,使用公开的数据集做测试,采用平均精度均值(MAP)作为评价标准,得到的准确率为92.17%,比目前表现最好的多模态身份识别算法的识别准确率高2.47%。对各组实验进行分析和对比,结果表明所采用的利用多种单模态信息的融合策略在解决大规模身份分类问题上是有效的。
其他文献
车载命名数据网络(Vehicular Named Data Networking,VNDN)是将命名数据网络应用到车载自组织网络环境中的一种新型网络,在智能交通领域中有着重要应用。VNDN能够解决车载网
公共场所安全关乎社会稳定、人民群众的生命财产的安全,对公共场所的安全保卫及监控一直是国家安全策略的首要任务。视频监控在安全监控领域占据了主要位置,然而视频监控由于
汽车整车滑行阻力能够综合体现底盘运行阻力和车身结构对汽车动力性和经济性的影响,是汽车一项重要性能,通常通过道路试验来测试完成。实际道路试验中受场地坡度和自然气候的
随着人工智能的快速发展,在医护人员相对缺乏的情况下,医疗服务机器人应运而生,并逐渐成为世界范围内快速发展的领域和研究热点之一。智能型服务机器人开辟了医疗领域与机器人领域的新方向,具有巨大的发展潜力和实际临床应用价值。利用X-Ray图像进行手术辅助是医疗机器人的核心技术之一,而建立图像坐标系与服务机器人坐标系之间的映射关系则是实现该技术的关键。本文结合北京市科委项目—“首都临床特色应用研究”,首先对
21世纪以来,国家经济进入高速发展阶段,但同时造成的环境污染和不可再生能源短缺等问题日益加剧。为达到节能减排的目的,因此出现了各类新能源装置,同时对其功率等级也提出了
随着移动互联网和物联网的飞速发展,当前移动通信数据流量面临指数增长。第五代移动通信网络已提上日程,超密集小区部署和软件定义网络是两个关键驱动力,同时为移动性管理问
日新月异的无线通信技术催生了多种异构无线网络的发展,形成了各类异构无线网络并存和互补的局面,没有任何一种无线网络能够满足高带宽、低费用、低时延、覆盖面广的要求,与
背景:GTPBP4由633个氨基酸组成的定位于核仁的新型G蛋白,主要参与60S亚单位的合成。已有研究表明,GTPBP4是参与调节细胞的生长和发展的重要节点,并发现该蛋白和p53蛋白相互作
蓄热室是马蹄焰玻璃窑余热回收、能源循环再利用的重要设备,它对于降低玻璃窑炉整体能耗有着重要的作用。性能优良的蓄热室不但可以避免大量的能源浪费,还可以增强玻璃窑炉的工作稳定性,提高窑炉使用寿命。然而蓄热室是一种复杂换热系统,其性能优化是非常困难和耗时的,特别是多目标优化时,存在计算量大、效率低等问题,如何快速有效地提高蓄热室的性能已经成为了玻璃产业亟待解决的问题。针对马蹄焰玻璃窑蓄热室性能优化耗时困
今本《魏书·显祖纪》和《魏书·高祖纪》在记录和平六年至延兴年间史事时,与史事所涉人物对应列传记载的史时存在较多抵牾之处,这是平城时代诸帝纪很少出现的情况。这种史时的抵牾之处,主要出现在文成帝至献文帝之际以及显祖皇兴末至高祖太和初之间。尤其是在显祖皇兴末至高祖太和初之间,列传中不少记载以太和元年(477年)为“高祖即位”、延兴末年为“高祖初”,而实际上高祖孝文帝延兴元年(471年)已登基为帝。这些抵