论文部分内容阅读
人脸检索在军事国防、民政司法、刑侦执法、游戏互动等领域有广阔应用前景，具有重大的研究意义与实用价值。机器视觉技术以快速的计算能力在大规模人脸库检索中取得巨大成功，然而光照、姿态、表情、遮挡等问题仍然显著制约其性能。另一方面，人脑具备强大的人脸识别能力，在光照、姿态、表情有较大变化或人脸被遮挡下仍可精确识别目标人脸。脑机接口技术的进步，使分析脑电信号(EEG)理解大脑认知活动成为现实，通过检测EEG中人脸识别有关的事件相关电位(ERP)，可利用人脑强大认知能力，实现对目标人脸的识别。 本文研究面向人脸检索问题，旨在将单次(single-trial)ERP检测方法和机器视觉技术结合，使人脑强大人脸识别能力和机器快速计算能力相融和互补，实现精确的人脸检索。本文首先针对EEG特征维度高，包含大量冗余和无关特征的问题，研究有效的ERP特征选择算法，并进一步分析重要ERP特征的时空分布。以上述研究为基础，本文首次提出了ERP-机器视觉闭环迭代的人脸检索方法。本文的主要贡献与创新点如下: 1)针对EEG信号维度高，包含大量冗余和无关特征的问题，提出采用基于局部学习的方法选取重要ERP特征。不同于以往方法，基于局部学习的方法在特征空间中将非线性EEG信号分解，保留了EEG的局部结构信息。通过优化最大间隔损失并引入稀疏约束，使不同类别EEG样本在特征空间中差异最大，可在不依赖特定ERP检测方法下求解特征重要性。结果表明，相比其他方法，基于局部学习的方法可更加精确的识别无关特征，且选出的重要特征在不同单次ERP检测方法上均取得最优性能。占总数10％的重要特征可获得使用全部特征98％以上的性能，实现EEG特征的有效约减。通过进一步分析重要特征的时空分布，发现N250是对目标人脸识别有贡献的最早ERP成分，且主要分布于左脑电极。使用左中央和左顶枕区电极的N250成分，可于行为按键反应前260ms识别目标人脸，并将电极数降至26.7％，从而加快目标人脸识别速度并实现电极数量约减; 2)将单次ERP检测方法与机器视觉的人脸识别技术结合，首次提出ERP-机器视觉闭环迭代的人脸检索方法，实现人脑强大人脸识别能力和机器快速计算能力的融合。在每轮迭代中，人脸图片通过快速序列视觉范式(RSVP)呈现给被试，EEG部分通过单次ERP检测在RSVP序列中识别目标人脸，并将识别目标发送至机器视觉进行人脸库相似度排序;排序最高的人脸库图片将于下轮RSVP呈现。不同于以往方法，本方法在迭代性能收敛时，利用EEG在低相似度排名的图片中查找机器无法识别的目标，实现检索结果的进一步优化。结果证明本方法优于已有方法，表明人脑强大人脸识别能力可有效补充机器视觉方法，进而实现更加精确的人脸检索。