人耳识别技术是生物特征识别领域最常见的识别技术之一。相较于其他生物特征,人耳具有其独特的优点。人耳不受表情、年龄影响,并且人耳数据采集过程可以无需被采集对象的配合。一个鲁棒的人耳识别系统在诸多方面,例如门禁管理、智能手机应用、法律实施与刑事侦查等都有着巨大的应用潜力。经过学术界多年的研究,人耳识别技术已经取得了长足的进步。现有的人耳检测和识别算法在一些常见的受控场景下建立的人耳数据库上能够取得很好的效果。但是研究者也发现,现有的人耳识别和检测算法在非受控场景下的性能会急剧下降。在实际应用中,采集到的人耳图像同时受到姿态、光照和遮挡等一种或多种干扰因素的影响的情况很常见。所以,非受控场景下的人耳检测和识别是一个非常有挑战性而又亟待解决的问题。近年来,深度学习在计算机视觉领域的发展令人瞩目。在一些生物特征识别领域也获得了巨大成功。但是相较于人脸识别,指纹识别等领域,人耳识别领域因为缺乏足够训练数据以及CNN网络设计研究,导致发展相对缓慢。针对这样的问题,本文进行了以下四个方面的研究:1)建立了两个非受控人耳数据库,分别可用于人耳检测算法和人耳识别算法的模型训练和测试。其中USTB-WebEar数据库中图片来自于网络,具有背景复杂,人耳干扰多样性的特点,满足非受控场景人耳检测的训练和测试要求。另外,本课题还建立了另一个大规模非受控场景下人耳数据库USTB-Helloear数据库,并设定了一系列训练和测试的规则。该数据库无论从个体人数和总数据量上均可以满足大规模深度模型训练和测试的要求。2)提出了一种基于多尺度 Faster R-CNN(Faster Region-based Convolutional Neural Networks)算法的人耳检测算法。该算法针对原始的Faster R-CNN算法中仅依靠设定匹配分数阈值来确定最终人耳检测结果的策略在实际应用中鲁棒性不足的缺点,提出了一种融合人耳形态特征和位置上下文特征的多尺度检测算法,并结合了所提的ERF算法来最终确定人耳区域。实验结果表明,所提算法相较于原始的Faster R-CNN算法和AdaBoost算法,在三个代表性的数据库上均表现更为优异。3)针对人耳识别任务特有的性质和特点,对传统CNN模型进行了一系列的改进和整合,提出了VGG-Ear模型。该模型结构的最后一层池化层为SPP层,使得输入的图片尺寸可以是更适合人耳形状特点的自定义尺寸,并在该层获得了融合整体和局部的人耳特征。在训练阶段,使用了 Center Loss和Softmax Loss作为联合监督信号,使得训练获得的人耳特征更加紧凑和空间可分。最后,使用不同尺度的人耳图片训练得到的三个模型进行了整合,最终获得了一个多尺度的人耳特征表示。本文所提的VGG-Ear模型在USTB-Helloear数据库、AWE和CVLED数据库上的人耳认证和识别准确率有了不同程度的提高。4)针对非受控场景下人耳在受人耳大姿态变化以及遮挡影响时,模型性能下降问题,本课题提出一种基于级联CNN网络的人耳关键点定位算法。通过由粗到精的定位人耳上6个关键点,并通过与标准耳进行对齐并分割而实现了人耳姿态和位置的标准化。通过使用标准化处理后的人耳图片在相同的数据库上训练和测试实验对比,证明所提人耳标准化算法可以显著提高CNN模型的人耳特征表示能力。本课题通过建立大规模非受控场景人耳数据库,设定测试标准,并提出基于深度学习的人耳检测,人耳关键点检测和人耳识别认证算法,在人耳识别领域从无到有的建立起一套完整的基于深度学习的端到端的人耳识别认证方法。该研究不仅对非受控场景下的人耳识别具有重要的研究意义,并且对于类似的其他生物特征识别或者图像识别、模式识别领域的研究也具有参考和借鉴价值。此外,本课题所提出的面向实际应用场景的一系列算法对于解决现实中诸如智能安保、智能手机应用、公安机关破获刑事案件等问题中具有理论指导意义。