基于时空双流网络的面部情绪识别系统研究与实现

来源 :辽宁大学 | 被引量 : 0次 | 上传用户:afengyu66
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网时代的到来,人工智能行业成为了国家经济和科技的引领行业,其中通过面部情绪的人工智能识别已经成为当前社会的一个研究热点。根据现阶段的研究发现,用户在相互交流的过程中,绝大多数信息都是借助表情这个媒介进行传达的,用户在进行表述的同时,面部表情也会发生相应的变化,因此,可以利用用户的面部表情变化进而来识别用户的情感变化趋势。情绪可以用肉眼看不见的许多不同形式表示。使用正确的工具,可以检测和识别人脸的面部情绪。在过去的几年中,对人体情绪检测的需求正在增加。情绪识别开始广泛应用于人机界面、动画、医学和安全性等领域。本文在面部情绪识别的基础上研究与实现了对面部情绪识别的系统,将微运动和宏运动功能相结合,提出时空双流网络来改善视频情绪识别。该网络集成结构捕获了有关微观和宏观运动的信息将有益于情绪的相关预测,即较小的和较短的微运动通过双流网络进行分析,而较大的和较持久的宏运动可以通过后续的递归网络很好地捕获。针对面部情绪识别系统的设计确定系统的体系结构为B/S架构,并对系统的总体框架、功能结构及功能实现的总体流程进行设计。根据系统流程,设计了相关的数据库结构和功能。在对人脸进行情绪识别之前,首先对本文用到的Aff-Wild数据集进行预处理,接着将处理后的数据集传入时空双流网络中进行情绪识别。本文提出的时空双流网络采用深度学习框架,训练过程为时空双流并行运行。在时间流中,选用帧间相位差替换光流作为时间流的输入,并将一系列灰度图像馈入到时间流的可控金字塔模型中,同时将预处理后的RGB图像传入空间流改进的Res Net50网络中进行处理,通过时空特征的融合提高了面部情绪识别的能力。基于本文时空双流网络情绪识别的系统,首先搭建了系统服务器,配置系统所需要的硬件和软件环境,完善系统的各项功能模块,并将系统部署于本地的服务器上,测试了系统的功能性和稳定性两个方面,最后对人脸面部情绪识别系统进行了成功的调试。经过对面部情绪识别系统的测试,验证出该系统可以很好的完成设计中的各项需求。面部情绪识别系统可以从本地上传视频、上传单人照片、多人照片进行识别,也可以对人脸进行实时的情绪检测并在屏幕输出结果。另外可以通过B/S系统对用户信息及系统信息进行管理。该系统经过测试后各模块均达到理想效果。
其他文献
后疫情时代背景下,现代信息技术被广泛应用到各行各业,互联网经济、数字经济和平台经济快速发展,新技术、新业态催生出多种新型就业形态并逐渐繁荣。灵活就业作为新的非标准就业模式,在后疫情时代逐步成为高校毕业生就业的一种重要形式。越来越多的高校毕业生主动选择新型的灵活就业形式投身人力资源市场,加强高校毕业生新业态灵活就业特点和问题的研究,及时出台更有针对性、实效性的灵活就业政策意义重大。
文本分类是自然语言处理领域里的一个重要任务,被广泛用于热点挖掘、舆情、分析、产品分析、电影推荐、金融风险分析、欺诈识别等等。随着Web 2.0时代的来临,面对网上越来越多的文本信息,传统的基于统计学的方法已经无法满足需要。深度学习的出现,使得文本分类任务有了新的处理方法,也使得深层次的神经网络的训练成为了可能。然而,深层网络带来的梯度消失问题会导致网络难以训练。因此,如何训练深层神经网络是当下的研
随着5G、WiFi等网络技术的发展和智能移动设备的普及,基于位置的社交网络(LBSN,Location-based Social Network)已成为人们关注的焦点。兴趣点(Point-of-Interest,POI)推荐作为LBSN领域的一个研究热点,它通过对海量的签到数据进行分析和挖掘,为用户提供个性化的兴趣点推荐。这不仅让POI服务商更加充分理解目标受众,而且为用户自主出行提供更为便利的信
随着互联网的兴起,越来越多的学习者选择通过在线教育平台进行学习。不同于传统的课堂教育由教师主导学习者的学习进程与学习活动,在线教育平台提倡因材施教,即根据学习者的知识水平为学习者提供个性化的教学内容与学习路线,然而学习者的知识掌握程度随学习进度不断变化,因此实时追踪学习者知识掌握程度变化尤为重要。知识追踪任务旨在根据学习者历史学习行为实时追踪学习者知识水平变化,并且预测学习者在未来学习表现。知识追
随着互联网的不断发展,越来越多的网民将社交媒体作为获取信息的主要途径,人们在网络空间中快速、自由地发布信息、社交互动、情感交流。微博作为网络信息传播最具代表性的应用之一,越来越多的网民通过微博来发布、获取和传播信息。微博上蕴含着个人观点的实时评论具有潜在的舆论导向,由此形成网络舆情。然而,网络舆情事件往往是突发的、难以预知的。近年来,对于舆情事件的相关研究层出不穷,现有算法无法高效对网民情感及舆情
直觉模糊知识测度在不确定性问题中有着重要作用,由于直觉模糊集的结构特性,知识测度能够有效弥补直觉模糊熵的不足,更加全面地反映不确定性问题研究过程中产生的模糊性与犹豫性。本文以提高知识测度对复杂问题的解决能力为目标,提出改进HammingHausdorff距离,与理想解法(technique for order preference by similarity to ideal solution,T
随着信息传输及数据存储技术的深度发展,时间序列相关的应用领域不断拓宽,金融、医疗、气象、销售等诸多领域时刻产生着各种类型的时间序列数据,数据规模大且无标签。从这些海量数据里挖掘出具有重大潜在价值的信息,在推动信息技术融合应用与信息产业高速增长、促进数字经济健康有序发展等方面具有广泛而深远的意义。聚类作为一种无监督学习方法,比逻辑回归、决策树、支持向量机等监督学习方法更适合对无标签数据的挖掘分析,因
目前很多依赖递归神经网络的对话系统,基本上都是需要大量密集并且标注完成的数据来进行模型的训练。混合编码网络模型(HCN)是一种面向任务通信的对话系统。HCN让开发者可以通过软件和模板操作来传达自己所学领域的知识,与现有的端到端方法相比,HCN可以在一定范围内提高对话系统训练的实用性和训练效率,但也存在一定的局限性,如由于特定领域的小众与独特性,不具有大量的训练样本,传统的混合编码网络模型在小样本数
知识图谱能提供可以被计算机理解的结构化信息,为人工智能的发展打下坚实的基础。虽然目前已构建许多规模较大的知识图谱,但由于互联网数据量过于庞大,以及数据产生速度之快,导致知识图谱所存储的知识信息是远远不完备的。因此,为了提高知识图谱的完整度,知识图谱补全工作势在必行。近年来有研究者提出知识表示学习,它可以更有效地利用到各种补全信息,极大地提高补全工作的效率,且性能表现优异。但是,目前的知识表示模型也