基于深度学习和微表情的疲劳检测算法研究与应用

来源 :上海工程技术大学 | 被引量 : 0次 | 上传用户:charles_y_tang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高教学质量,需要对学生的课堂状态进行判断,尽早的发现学生在上课时是否疲劳,并且教师能够及时的提醒相关学生,对课堂氛围做出相应调整,提高学生的课堂效率。对学生课堂疲劳检测方法进行研究,并运用于课堂教学,辅助老师进行授课,为智慧课堂的实现提供新的思路,具有非常重要的意义。然而传统的卷积神经网络不能同时保证检测的实时性和准确性。为此,提出一种改进的多任务级联神经网络(MTCNN)来实现疲劳检测。首先,通过MTCNN实现人脸关键点定位。其次,提出一种基于多任务约束学习的眼部精准定位方法。并将常规的激活函数Re Lu替换为Leaky Re Lu避免了神经元失活的影响。当一个人处于疲劳状态时,会通过脸部的微表情体现出来。尤其是眼部和嘴部这两个区域的细微变化,更能反应这一现象。对此本文提出基于深度学习的微表情疲劳检测算法,通过分析相关人员的面部微表情的变化,构建眼、嘴数据集,完成眼、嘴部状态分类模型训练。最后利用训练好的模型,结合相应的判断标准实现疲劳检测。针对眼部定位不准确的情况,本文将是否佩戴眼镜以及头部姿势作为辅助任务,以多任务学习的方式来进行精确的眼部定位。由于相关数据集较少,为了解决数据集不够,以及不均衡的问题,分别从ZJU数据集和Yaw DD数据集采集眼嘴部数据集,并通过数据增强的方式来扩大所拥有的数据集。在眼部状态和嘴部状态的识别中,考虑到目标区域的图像尺寸较小,为了节约时间成本,所以另外设计了一个较为轻便的卷积神经网络。并且通过实验来研究不同参数对网络的影响,最终确定合适的网络结构和参数。最后,针对传统疲劳检测特征单一的不足,提出了新的疲劳检测指标对微表情即疲劳时眼部状况、打哈欠时嘴部的情况进行检测,并将两者的疲劳指标进行融合,提出一个新的判定方法,使得疲劳检测结果更为准确。本文对基于深度学习和微表情的疲劳检测方法进行研究,在传统的方法上进行了改进,实验结果表明基于深度学习和微表情的疲劳检测方法有着良好的识别效果,并且实时性也得到了较大的改善。对学生上课状态有了不一样的解读角度,实现了智慧课堂教学,让学生的课堂生活变得更加多彩。
其他文献
随着图像传感器技术的发展,图像融合技术应用领域也越来越广泛。由于其工作原理的性质,单个传感器捕获的图像信息不足而造成图像不完整、模糊不清等问题,而图像融合就是结合多个传感器的工作特性,对于同一目标场景获得的多幅图像根据其特性进行优势互补,剔除冗余信息结合为一副对该场景描述更清晰、更完整的图像。在图像融合范围内红外可见光图像融合也是占据不小地位,在目标检测、军事、安防监控、资源探测等领域有着重要的应
学位
资源耗竭理论认为,当代人开发利用石油资源必然会牺牲后代人利益,为了维系代际公平,应在开发中提取耗竭补偿。现有耗竭补偿测算方法以石油效用持续不变为前提,忽略了替代能源对石油价值及其耗竭补偿的影响,因而应在能源替代背景下对其进行修正,论文将以此为重点开展研究。除耗竭补偿外,石油开发对生态环境影响及其补偿也受到了越来越多的关注,而目前的定量研究较少,还不能为政策制定提供有力支撑,因此也将其纳入研究范围。
学位
通过对清洁取暖政策的实施现状以及“2+26”试点城市财政投入产出的研究,在SBM(Slack Based Measure)模型的基础上,定量计算了3年各试点城市清洁取暖政策的财政支出效率。与此同时,对各试点城市财政资金的使用效率进行了异质性分析,探讨清洁取暖政策实施主体的利弊,总结分析“退补”趋势下清洁能源供暖的实施路径。最后,通过计量模型的建立,探究了显著影响该项政策财政支出效率的因素。以上研究
学位
众所周知,在经济系统、飞行控制系统、机器人操作系统等实际应用中,系统可能会受到组件出现的故障,外部环境的干扰以及互相关联的子系统耦合变化等因素的影响,导致系统的参数或者结构出现突然的变化。为了能够更好地对这种现象进行表述,通常使用混杂动态系统进行建模,其中马尔可夫跳跃系统最为常见,其跳变方式是以随机的形式从一种模式切换到另一种模式。因此,研究马尔可夫跳跃系统的动力学行为具有重要意义。另一方面,由于
学位
我国石油对外依存度已超过70%,在常规石油资源增长潜力有限的情况下,非常规石油的可持续开发对保障石油安全意义重大。油页岩是重要的非常规石油资源,但由于其开发效益常处于或低于经济边界,动用程度不足十分之一。除了财税政策之外,合理的资源类税费体系也有利于油页岩产业的可持续发展。基于国内外现行矿产资源税费体系的比较研究认为,可持续发展视角的资源类税费体系应具备三点:一是税负体现资源品级差异,实现以优补劣
学位
智能手机等移动设备广泛应用于人们日常的活动中,存入其中的个人帐户等隐私信息的泄露将会给用户造成巨大损失。身份认证机制的目的是辨识假冒用户,并阻止其对设备未经授权的访问。隐式认证是利用用户行为和习惯进行身份认证,因其便利性、用户友好性和安全性成为智能移动设备认证领域的研究新热点。然而,已有研究通常利用设计复杂算法、提取高维特征、提升模型复杂度和与穿戴设备相结合等方法,来提升模型准确率与认证性能。这不
学位
随着移动网络和终端设备的快速发展,越来越多的人参与到网络建设着之中,随之而来的是大量的行为数据,比如网上购物之后的评价,看电影之后的影评等等。大数据时代下,通过对于这些大量的用户行为数据的分析挖掘,对于企业做出针对性的促销活动,对于政府准确的把握网络事件的发展方向以及及时做出积极引导有着十分重要的作用。文本聚类是一种重要的无监督数据挖掘方法,已经被广泛的应用于热点话题发现、事件追踪以及对文档摘要等
学位
胃癌是影响着全人类的一项重大疾病,严重的影响着人们的健康。而腹腔动脉血管的走向对胃癌手术计划的制定有着至关重要的作用。临床上普遍使用CT(Computed Tomography)造影技术作为胃癌诊断的主要手段,一般情况下医生可以根据CT图像对胃部腹腔动脉血管的走向进行判断,从而可以制定相应的手术计划。因此如何在CT影像中得出准确精细的腹腔动脉血管的分割结果仍然是一项热门并且具有挑战性的任务。目前腹
学位
伴随着京津冀地区城市化的发展和人民生活水平的提高,居民的出行需求持续增加,京津冀地区城市客运交通规模不断壮大,城市客运交通碳排放成为影响京津冀地区在2030年实现“碳达峰”的重要因素。为减少城市客运部门碳排放,国家和京津冀地区政府出台了诸多减排政策,并投入了巨额的财政资金支持,这些政策的减排效果备受瞩目,然而其减排成果背后的资金投入却很少受到关注。对减排政策进行成本效益分析是制定和完善交通减排政策
学位
能源在经济全球化和各国社会经济发展中具有基础性的关键作用,能源安全更具有重要的地缘政治和经济意义。近年来,国际地缘政治形势更加复杂,全球性和区域性的“黑天鹅”和“灰犀牛”事件频发,多边合作体系受到严重挑战。国际能源市场波动严重,各国在能源资源、出口通道、定价机制等方面的博弈越发激烈。从2008年至今,从石油到天然气,从内陆到北冰洋,从西方到东方,俄罗斯通过多种制度框架和多边组织加大了其能源外交的力
学位