随着深度学习研究的发展,各种人工智能技术正逐步应用于社会生活,人物识别是人工智能领域中的一项重要内容。在实际应用领域中,视频中的人物识别任务已经成为待解决的现实问题。相比静态图像数据,视频数据包含了更为丰富的动态时序信息,如多变的图像信息和音频信息等,充分利用这些不同的模态信息能对视频中的识别任务提供帮助,而如何充分利用视频数据丰富的模态信息正是多模态融合方法所研究的一个重要方向。本文提出了一种基于位置注意力机制的多模态学习方法,其中注意力机制模块的主要思想是让系统更加关注重要的模态信息,而忽略相对无关的模态信息。该方法主要包括单一模态特征优化处理、多模态特征融合和多模态模型融合三部分。(1)单一模态特征的优化处理能提升算法的识别精度。因为特征提取算法不足,提取到的人物特征会存在缺陷。如果将原始人物特征直接馈入神经网络,进行分类训练,最终的识别结果可能达不到预期。对单一模态特征的优化处理可以改善这一情况。本文提出的利用位置注意力机制模块的方法可以增强相似特征、抑制离群特征,进而提高人物识别精度。(2)多模态特征融合方法可充分利用视频数据所包含的多种人物模态信息,以处理多种极端情况。例如,就人物识别任务而言,我们将重点利用人脸特征进行研究,并以头部、人体和音频特征作为辅助,进行多模态特征融合,可得到新的视频特征。在多模态特征融合过程中,利用位置注意力机制模块进行融合实验,将放大与人脸特征关联度较高的模态特征的影响,而与人脸特征关联度较低的模态特征的影响将被抑制。在保证人脸特征占主要影响的前提下,该方法能充分多种模态信息,进而提升算法的识别精度。(3)多模态模型融合方法能一定程度解决人物特征缺失的问题。在多模态模型融合过程中,我们通常会先训练多个弱学习器,并用于解决相同的问题。再将多个弱学习器进行组合,我们就可能得到一个更为精确、鲁棒的模型。当出现无法提取某些视频人物特征的极端情况时,本文将会对该类视频做场景特征提取实验,并分别把实验获得的场景特征和经过多模态特征融合获得的视频特征馈入神经网络进行训练,最后将训练所得模型进行多模态模型融合,以此改善人物识别效果。本文将介绍一个用于多模态人物识别的大型视频数据集——i QIYI-VID数据集,它由600K视频剪辑组成。在i QIYI-VID数据集上的实验结果表明,该算法的识别结果与其他算法的识别结果相比是最优的。