基于卷积神经网络的表情识别研究与应用

来源 :东华大学 | 被引量 : 0次 | 上传用户:Redlove
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部表情是人类情感信息传达的重要载体,在人们的沟通交流中发挥着重要作用。随着人工智能的迅速发展,让机器理解人类的情感具有重要的研究意义和实际应用价值。依托课题组视频动作识别与智能分析项目,本文研究基于卷积神经网络的人脸表情识别方法,并应用于课堂教学表情识别系统,协助教师对学生学习状态进行实时了解和事后分析,从而帮助提升教师教学质量。本文的主要研究内容如下:(1)针对轻量级网络Mobile Net V2对表情图像中关键区域的表征能力较弱的问题,通过设计轻量级的混合注意力模块,并将其嵌入到Mobile Net V2的瓶颈结构中,提出了LCDSAM-Mobile Net V2轻量级表情识别模型,从而在不增加过多计算开销的情况下,有效提高了模型对表情中重要特征区域的关注程度。接着,针对浅层网络Res Net18用于表情识别时存在特征提取不充分和表情图像存在类内差异性与类间相似性的问题,通过构建一种新的多尺度残差块与引入岛屿损失函数,提出了Multi-Scale Res Net18表情识别模型,从而能够提取到表情图像中丰富的特征信息,并增强了模型对于深层特征的判别能力。(2)在表情数据集上对本文所提模型进行实验验证,实验结果表明,LCDSAM-Mobile Net V2模型在CK+和RAF-DB数据集上的识别准确率分别为95.61%和84.22%,相对于Mobile Net V2分别提升了2.04%和1.59%,Multi-Scale Res Net18模型在RAF-DB数据集上的准确率为84.58%,相对于Res Net18提升了2.9%,证明了本文模型在识别精度上的有效性。此外,LCDSAM-Mobile Net V2和MultiScale Res Net18模型的大小分别为9.02MB和48.70MB,在本文实验环境下对单张图像的平均推理时间分别为30ms和22ms,说明了本文模型有着良好的识别效率,并依此对所提两种表情识别模型的应用场景进行分析。(3)基于对表情识别方法的研究,本文设计并实现了一个可应用于课堂教学场景下的表情识别系统原型。该系统实现了对于视频数据的采集和处理,并利用人脸检测、图像增强和表情识别技术完成对输入图像的处理和表情识别。同时,将不同的表情映射到不同的学习状态中,并将统计后的表情数据和学习状态数据可视化展示,为教师提供直观的教学支持和帮助。本文所提出的表情识别模型和系统具有高效的优点,能够有效的识别面部表情并对相关学习状态的数据进行可视化展示,为实际中人机交互系统的优化提供了思路,也有助于建立其他场景下的表情识别模型和系统。
其他文献
在房地一体项目测量过程中应用传统的测绘方法,时间周期长、操作流程复杂、效率低,而无人机倾斜摄影测量技术效率高、受起降场地和天气影响小、精度高,在房地一体项目测绘过程中优势明显。本文利用无人机倾斜摄影测量方法、传统测量方法分别对万安镇天地庙村进行不动产测绘,并将两种测量方式的精度指标进行对比分析。实验结果表明:无人机倾斜摄影测量外业工作量小、效率高,且精度满足山西省相关技术规范要求。
期刊
大规模多输入多输出(Multi-input Multi-output,MIMO)系统在基站处配置大规模天线阵列,显著提高了频谱利用率及链路可靠性。然而,信号检测技术涉及大量的复杂矩阵运算,随着MIMO系统规模的扩大,信号检测面临复杂度和精确度的双重挑战。因此,研究低复杂度高精确度的大规模MIMO信号检测算法对于未来通信发展具有重要意义。针对这些问题,本文做出了以下工作:1.针对现有交替方向乘子(A
学位
深度学习技术的迅速发展使得这一技术被广泛应用于各个领域,包括基础现实应用以及许多与安全相关的任务应用,这使得深度学习模型成为攻击者的目标。攻击者根据深度学习模型的脆弱性定制了相应的攻击策略。这种由模型暴露出的弱点衍生出的对抗攻击算法对图像分类领域的发展提出了挑战,同时它也为进一步探索深度神经网络提供了机会。在攻击者的推动下,越来越多的防御机制被提出来保证深度学习模型的安全。本文分别从防御机制的两个
学位
报纸
本文主要研究了基于RGB-D相机的救援机器人语义建图方法,以及语义SLAM与导航算法相结合的相关技术。传统的SLAM算法在建图时只考虑环境的几何特征或者纹理特征,这使得救援机器人只能根据环境的浅层信息进行导航和探索,难以完成复杂的自主探索任务。语义SLAM可获取环境的语义信息,并将语义信息与环境地图相结合,帮助机器人从更高的层次去理解周围环境,进而丰富导航方式,使机器人能够完成复杂的自主探索任务。
学位
基于语音对阿尔兹海默病进行识别被证明是一种有效的方法,相较于脑影像和量表,语音更具有经济性和可扩展性,能够适应大规模检测。目前的研究方法较多的采用降维-分类的方式进行,即将语音(通常在10万维以上)表示为低维的特征向量(通常在100维以下),再进行分类获得疾病识别结果。在特征表示方面,研究人员尝试使用局限性更小的内容无关(Content-independent,CI)特征来表示语音,但是传统的特征
学位
近似最近邻搜索是信息检索技术中的一个基本课题,在数据库、推荐系统等领域应用广泛。与精确最近邻搜索算法相比,近似最近邻搜索算法内存占用较小,同时牺牲较小的查询召回率,从而达到极快的查询速度。基于图的近似最近邻搜索算法是最常用的近似最近邻搜索算法之一,相对于基于空间划分、基于哈希和基于量化的算法,因其查询速度快、查询召回率高而被各大商业公司广泛应用。基于图的搜索算法的目标是构建高质量的图索引结构,通过
学位
人工智能模型的训练依赖于大规模高质量的标注数据。通过人工标注的方式可以获取高质量的训练集,但是人工标注效率很低并且代价高昂,尤其对于标注难度较大的文本语料,人工标注很难获取大规模的标注数据。远程监督可以用来自动构建大规模的标注数据集,然而通过远程监督得到的训练集质量并不高,训练集的质量决定着模型的上限,因此如何优化远程监督数据集已经成为当下研究的热点。远程监督在不同场景下面临着不同的问题,其解决方
学位
针对永磁同步电机在弱磁运行过程中因参数变化导致的控制性能下降问题,提出了一种采用单q轴电流调节器的多参数自适应补偿控制策略,以提高电机在弱磁区域内的转矩控制精度。实验结果表明该方法对参数的辨识误差在5%以下,输出转矩与期望转矩的误差小于1%,该方法能有效地抑制多参数变化对电机性能的影响。
期刊
随着无线传能技术的快速发展和无人机在各个领域的广泛应用,利用微波无线传能为飞行中的无人机提供能量保障已成为延长无人机工作时间的有效途径。考虑到微波点对点直接传能在无人机供电方面存在局限性,本文针对面向无人机供电的微波无线传能链路进行建模与优化研究以在一定程度上提高无人机微波无线供电的环境适应性、传输效率和实际应用价值。首先,本文对微波无线电能传输技术原理及其在无人机供电上的应用进行分析,针对面向无
学位