基于多任务学习和眼部表征的戴口罩人脸识别研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yiyucanqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自新型冠状病毒引起的疫情爆发以来,佩戴口罩出行成为人们的生活常态,这对已经融入大众生活的人脸识别应用来说是一个全新的挑战。传统的人脸识别算法在面对口罩遮挡的人脸时仍存在一些亟需解决的问题:一是口罩影响人脸的检测精度,二是在佩戴口罩与否的情形下,具有同一身份的人脸特征相似度不高。虽然可以通过要求用户摘下口罩或者直接下调相似度阈值来改善上述情形,但这些办法会造成误识别,甚至导致疫情传播等安全隐患。为了更好地解决上述问题,本论文提出一种基于多任务学习和眼部表征的戴口罩人脸识别算法。算法第一步是检测人脸,其结果包含置信度、预测框、类别和眼部关键点等信息,第二步根据眼部关键点截取眼部图像,并提取特征用于身份识别。在实际应用中该算法能够根据多任务人脸检测结果选择合适的特征表示方式,充分利用人脸的有效区域实现身份识别。以下是本论文的主要工作内容:(1)研究了基于RetinaNet的多任务人脸检测算法。首先针对现有公开数据集缺少口罩遮挡的人脸样本或缺少眼部关键点标注的问题,本论文构建了含有4万多张图片的人脸检测数据集。制作样本时本论文利用传统的人脸检测器标注信息,结合重构3D人脸的方法生成口罩。然后,以速度精度均衡的通用单阶段检测器RetinaNet为研究对象,从以下几个方面改进RetinaNet模型:替换主干网络为轻量型网络MobileNet、增设单阶段无头(Single Stage Headless,SSH)模块、改进SSH模块、设计多任务学习预测层和损失函数。最后本论文提出了SSH模块增设组和SSH模块改进组两组改进方案。实验表明本论文提出的RetinaNet-Improved多任务人脸检测算法具有较好的检测精度。(2)研究了基于ResNet-50的眼部表征算法。首先针对眼部公开数据集稀少的问题,本论文利用设计好的多任务人脸检测算法截取人脸照片的眼部区域,构建了样本容量近270万的眼部表征数据集。然后,以分类能力优秀的ResNet-50作为研究对象,改进了带有下采样功能的残差结构,并研究了几种适用于身份识别的分类损失函数。最后本论文提出下采样残差结构改进组和损失函数选型组两组实验方案。实验数据表明本论文提出的ResNet-Improved眼部表征算法具有较好的表征效果。(3)研究了基于多任务学习和眼部表征的戴口罩人脸识别系统的实现。整体系统包含后端、用户端、管理端和服务端。其中后端负责数据的管理和传输;用户端提供给用户注册个人信息;管理端提供给管理人员查看用户信息和门禁记录。本论文研究了RetinaNet-Improved多任务人脸检测算法和ResNet-Improved眼部表征算法的服务端部署,完成人脸识别功能。服务端工作时根据用户是否佩戴口罩,选择眼部表征算法或人脸表征算法进行特征表示。本系统的亮点是能够充分利用未遮挡区域,既不影响正常人脸的识别精度,又能完成对佩戴口罩的人脸识别。
其他文献
我国是病虫害多发国家,病虫害的存在一直困扰着我国农业的发展。目前,我国农业病虫害预警监测手段还较为落后,仅依赖人工不能及时对病虫害发生时期进行预测,导致农产品产量降低和经济效益下降。清远市作为茶叶大市,当地茶园一直以来都遭受着病虫害困扰。为缓解这一状况,本研究结合物联网、数据库等信息技术,建立基于Vue框架的病虫害预警监测系统,以期提高茶叶病虫害预警监测效果。本文主要工作内容如下:1.构建系统数据
学位
服务机器人在生活中的应用前景十分广泛,如保姆机器人、送餐机器人等,抓取是不同种类的服务机器人最基本的功能之一,因此研究机器人抓取是十分必要的。同时,与工作环境相对单一的工业机器人相比,服务机器人往往在非结构化的场景下工作,因此设计一款能够自主识别、自主抓取的机器人是十分必要的,而这也是目前机器人领域应用的热点和难点。本课题基于卷积神经网络的机器人抓取展开了研究,提出了一种改进的抓取检测与目标检测相
学位
“民以食为天”,粮食关系着国计民生,是日常维系生活的重要物资。小麦作为三大粮食作物之一,保障小麦生产安全对国家粮食安全具有重要意义。小麦种植过程中,受光照、温度、土壤、肥料、水分等环境因子影响,时有病虫害发生,如若防治不及时,会严重影响小麦的产量以及质量。传统人工检测病虫害的手段主要依赖于肉眼观察和人工统计,这样的解决方法主观性强、时效性低、精度统一难度大。随着计算机技术和深度学习的发展,针对传统
学位
玉米作为我国主要的农作物之一,现已成为我国种植面积最大的作物,实时开展玉米生长监测具有重要意义。叶面积指数是(Leaf Area Index,LAI)是评定作物生长情况的一个重要指标。利用无人机多光谱遥感对玉米LAI进行实时有效的监测,可为玉米田间科学管理提供技术支撑。本研究利用无人机Red Edeg多光谱相机获取试验区多光谱数据,同步获取地面LAI数据,计算并分析筛选最佳植被指数,分别构建估测模
学位
小麦籽粒的优劣不仅是判断小麦品质好坏的一个重要指标,还是决定产量的关键性因素。分级籽粒的技术可以准确表示出小麦的优劣,这项技术可以为小麦的育种工作提供参考依据,还可以实现基于形态特征下鉴别小麦籽粒的品质。目前,大部分的谷物检测实验都还停留在具有很大主观性和局限性的人为观察评判阶段,针对目前基于机器视觉检测技术依靠大量图像特征参数作为依据并且识别率还不高的问题,本论文以实现小麦籽粒的优劣分级为目标,
学位
随着信息化时代的高速发展,计算机视觉技术在众多领域发挥着重要的作用,其中行人检测及多行人跟踪作为计算机视觉的研究热点之一,近年来涌现许多优秀的研究成果。但行人检测在有遮挡、形变等情况下存在不足,而头肩检测则可以在一定程度下避免行人检测的不足。本文依据企业委托开发项目,考虑实际工程应用场景需求,研究基于头肩检测的多人跟踪算法及嵌入式实现,主要包含基于深度学习的头肩检测、人体头肩表观特征的提取、多人跟
学位
中国是茶叶的故乡,自古以来中国人就有饮茶的习惯。近年来,随着社会发展和人们生活水平的提高,人们开始追求高品质生活,不仅对茶叶的需求增大,对茶叶品质的追求也逐渐提高。我国作为世界最大的茶叶生产国,制茶历史悠久。目前,茶叶生产中,传统工业茶鲜叶分级设备分类准确率低、不利于收集,在优质茶叶分级中仍依赖人工分拣,存在效率低,人工成本高等问题,不利于提高茶叶经济效益。由于计算机技术的快速发展,利用机器视觉技
学位
中国是世界第一大茶叶生产国和消费国、第二大茶叶出口国[1]。2021年我国茶园种植面积达4896.09万亩,其中清远市种植面积在83万亩左右。为贯彻落实乡村振兴战略和数字乡村战略,清远市提出利用现代信息技术建设数字农业产业园区,以加强优势产区数字资源体系建设,提升清远市红茶优势产区竞争力。另外,当地在不断加大种植力度,茶园面积增加的同时也出现了生产和管理方面的问题。针对上述情况,本研究提出开发红茶
学位
我国是黄花菜种质资源最丰富,种植面积最大的国家,面积约121.15万亩。近年来黄花菜行业发展迅猛,大同市政府更是将黄花菜确立为云州区的支柱产业。但由于病虫害频频发生,黄花菜的品质和产量受到严重影响。据统计,近几年黄花菜因病虫害年均损失率高达20%,解决黄花菜病虫害问题刻不容缓。传统的人工检测方法存在主观性强、可靠性弱等诸多问题,已不能满足当下农业生产的需要。随着智慧农业的出现,深度学习逐渐被用于农
学位
随着物联网(Internet of Things,Io T)和信息物理系统(Cyber-Physical Systems,CPS)的飞速发展,为了满足消费者对物流服务日益增长的需求,调度大规模导航智能车(Automated Guided Vehicles,AGV)进行货物分拣成为当下物流行业的主流。但是在传统AGV导航方案中,激光雷达和摄像头等传感器造价高昂限制了多AGV系统的普及,而磁导式AGV
学位