人脸识别一直是人工智能领域一个研究热点。相比于其他的生物鉴别方式,人脸识别在考勤、支付、进站、登机、特定对象监控等方面有着广阔的运用场景。当前最先进的方法,主要是基于卷积神经网络的深度学习的方法。已有的方法需要被识别对象有良好的光照条件,表情与姿势不能变化太大,不能有遮挡,在约束环境下,基于深度学习的人脸识别已超越了人类的识别能力。但是在非约束条件下,比如监控摄像头所录的视频,被识别对象具有侧面、被遮挡住、带眼镜或口罩、模糊、低分辨率、表情夸张、姿势变化大、光照变化大等多种变化,当前的识别模型和算法在这些变化下,不能获得高鉴别性的特征。此外,由于人脸检测和识别是两套不同的模型和算法,现有算法没有考虑两者的内在关联,检测结果差则识别结果也差,导致现有人脸识别算法鲁棒性差。此外,当前人脸识别系统大都基于很深的大型网络,不支持在嵌入式系统运行。因此研究基于轻量网络的人脸检测和识别方法,设计高鉴别性的特征表示至关重要。针对无约束环境下对人脸识别算法的需求,本论文在现有人脸检测和识别算法的基础上,重点研究基于深度学习的特征表示、特征融合与增强以及度量学习等关键技术。基于卷积神经网络,设计并实现了轻量的人脸识别流水线,包括多尺度的人脸检测器和基于模板的人脸识别器。测试结果表明,该Res Net-18模型准确率高,在IJB-C数据集上的平均精度、误识率和拒识率均接近骨干基准网络Se Net50,满足未来人脸识别系统的实时性与鲁棒性要求。论文的主要研究内容和创新点如下:（1）提出了一种新的锚框（Anchor）密集化的人脸检测方法。通过研究单一网络锚框匹配存在的问题,本文通过添加辅助网络,包括辅助的损失函数项,最终增加了预设锚框与参考标准框的匹配概率。通过在几个公开的人脸检测基准上进行的实验,验证了所提出的检测方法的有效性,该方法在世界最大自拍照上检测到892个人脸;（2）提出了一种卷积神经网络（CNN）的高层强语义特征与浅层高分辨率特征充分融合的方法。现有的特征融合方法直接对CNN不同层的特征图进行融合,存在着冗余与异常的特征值,不能保证融合了互补性与多样性的特征,因此融合后的特征未必对检测与识别有帮助。本文基于异构网络的特征互补性与多样性,提出了特征图的动态特征增强算法,该方法可以方便地集成到现有的CNN中。通过该方法生成的特征增强金字塔,提高了非约束环境下人脸特征的有效表示和提取能力,在TAR@FAR=0.1时,IJB-C上的人脸验证精度提升了16%;（3）提出了一种基于KL散度的度量学习方法。在基于模板的人脸验证问题中,传统方法是使用一组特征来表示视频或模板,其中每个特征都对应着某个图像或帧。这种方法对两帧视频相似性计算的复杂度高,内存消耗大,并且不能随着大量视频扩展。本文的度量函数包括两个分量:保真度约束和相似性约束。保真度约束条件计算了新学习的特征分布和原始特征分布之间的距离,使得新学习的特征分布逼近原始特征分布。相似度约束确保同一模板的相似度大于不同模板的相似度。根据前期人脸检测部分的得分,动态调整送到人脸识别系统的人脸。在IJB-C上验证了设计的度量学习算法,最终使得本文的轻量模型可以有效的在IJB-C上进行人脸识别,并且在TPIR@FPIR=0.01时精度提升了46%;（4）改进了现有的单次多盒检测器（Single Shot multibox Detector,SSD）检测网络的目标损失函数,提出了基于SSD的人脸姿势预测方法。该方法充分利用了SSD固有的分类与回归能力,避免了现有人脸姿势预测方法的高耦合和费时的缺点。采用分箱（bin）方法,将人脸偏转姿势的连续角度转成训练所需要的多个的特定类别,将3D角度回归问题转换为角度分类和人脸边框的回归问题,让模型直接输出欧拉角（偏航角、俯仰角和横滚角）。该方法在AFLW2000和300W-LP中预测的平均平均误差分别为6.01°和2.38°。本文研究了基于深度学习的人脸识别,基于现有的Arc Face,使用线性函数代替余弦函数,避免了Arc Face对于小模型要先从Soft Max开始训练的局限性。使用本文提出的特征融合与增强算法,以及基于KL散度的深度度量学习方法,针对由NIST发布的新基准数据集IJB-C,在具有完全姿态和光照变化的无约束环境下,本文基于Res Net-18的轻量模型在Rank-1的识别率从26%提升到了68%。