随着深度学习的迅速发展,计算机视觉结合强大的计算能力应用于各种领域。在智能监控系统中,人脸识别与跟踪技术与深度学习相结合一直是属于非常重要与前沿的计算机视觉研究领域。本文基于微型计算设备设计搭建智能监控系统,系统具有自动识别、跟踪、记录功能。将系统分为人脸检测、人脸特征提取与人脸跟踪三个方面,基于处理监控视频序列图像的场景进行研究与改进。在人脸检测上,本文基于MTCNN算法针对监控视频场景进行改进。考虑到监控视频中相互遮挡的检测框在纵深位置上存在关系,改进非极大值抑制算法结合检测框面积,选择面部特征较为完好的人脸检测框作为过滤结果。同时,针对人脸存在运动模糊、姿态改变、光照变化等问题,通过回归检测结合序列图像上一帧信息,以局部降低置信度的方式提高查准率,在自建数据集上的实验结果证明改进后算法相比改进前查准率上升了约 5%-8%。在人脸特征提取上,本文在损失函数上进行研究并提出新的损失函数。本文提出以角度为优化目标的损失函数,对比其他损失函数,得出本文的损失函数在类内相似度上具有更大的梯度。将本文的损失函数与其他损失函数结合Resnet50主干网络,在公开数据集上进行训练对比测试,选择准确率作为指标,在AgeDB上与其他损失函数相比提升了 0.5%-2%,证明本文的损失函数在类内具有更强聚敛性。在人脸跟踪上,本文基于DeepSORT算法进行改进,提升算法效率。以多目标跟踪DeepSORT算法作为框架基础,采用人脸检测与人脸特征提取实现人脸跟踪。本文引入监控区域划分加快判断跟踪目标离开监控画面的过程,利用人脸检测算法中回归检测具有位置关联的特性改进匹配流程,提高匹配效率。最后,设计并搭建智能监控系统。智能监控系统分为人脸检测模块与跟踪识别模块,部署在微型计算设备树莓派和主机上,以客户端服务端形式传输数据。分别对系统的人脸检测、人脸跟踪、人脸识别功能进行测试,均达到预期目标。