【摘 要】
:
多媒体信息情感识别技术能让机器根据人的情感状态做出不同的反馈,对于提高人机交互智能化水平有重要意义。语音、文本和表情信号是人们表达情感的主要方式,包含了丰富的情感信息。因此,基于语音和文本的情感识别以及视频人脸表情识别是多媒体信息情感识别研究领域重要的研究方向。深度学习方法在情感识别领域取得了较好的效果,但仍存在网络较复杂参数量较大的问题。因此如何高效地提取情感特征仍然是具有挑战性的任务。近年来,
【基金项目】
:
广东省自然科学基金(2021A1515011888)
论文部分内容阅读
多媒体信息情感识别技术能让机器根据人的情感状态做出不同的反馈,对于提高人机交互智能化水平有重要意义。语音、文本和表情信号是人们表达情感的主要方式,包含了丰富的情感信息。因此,基于语音和文本的情感识别以及视频人脸表情识别是多媒体信息情感识别研究领域重要的研究方向。深度学习方法在情感识别领域取得了较好的效果,但仍存在网络较复杂参数量较大的问题。因此如何高效地提取情感特征仍然是具有挑战性的任务。近年来,路径重积分作为一种高效的特征提取方法,在手写体识别、金融数据分析等领域得到成功的应用,展示了其对序列型数据中的依赖关系进行建模的优秀性能。本文利用路径重积分方法,基于各种数据的特点进行了针对性的改进,设计了轻量级网络,从而以较少的参数量提取有效的情感特征,主要工作如下:1、设计了基于高层特征编码器和多支路重积分方法的轻量级语音和文本情感识别网络。(1)在语音情感识别网络中,高层特征编码器从原始声学特征中编码高阶重积分信息,能保留更多路径局部信息,避免特征冗余。多支路重积分方法将原始特征和高层特征分别视为单独的路径计算重积分特征,减少重积分特征数量的同时保留高层特征中的情感信息。(2)首次将路径重积分方法应用于文本情感识别,设计了基于高层特征编码器的文本情感识别网络。(3)结合语音和文本情感识别网络提取的重积分特征进行多模态情感识别。实验结果表明,本文方法能有效地提取和结合多种模态数据的情感特征,以轻量网络获得较高的准确率。2、提出了一种基于关键点轨迹路径重积分特征的表情识别方法,首次将路径重积分方法引入到视频人脸表情识别任务中。该方法包括利用路径重积分特征表征关键点轨迹动态变化信息,设计轻量网络提取空间结构特征,以及引入重积分特征注意力模块。路径重积分方法能在不引入训练参数的情况下提取轨迹的时空特征,空间结构特征充分利用了脸部结构信息,而重积分特征注意力能让网络关注于与情感更相关的重积分特征。实验结果表明,本文提出的方法以非常少的参数量达到了可与现有最先进算法比较的准确率,优于其他基于关键点轨迹的方法。
其他文献
实时战略(RTS)游戏是一种快节奏战争模拟游戏,玩家通过管理资源、控制单元来实时进行决策。由于对手单元位置的不确定性以及游戏环境的动态性使得游戏的特征十分复杂,这为研究基于游戏的人工智能(AI)提供了理想的平台。RTS游戏玩家获胜者预测是其中主要的研究领域之一。本文首先描述了一种基于μRTS的具有不同搜索策略的RTS游戏AI机器人比赛生成重放数据集和对重放数据采样的过程,介绍了样本数据的采样点数据
随着经济社会的快速发展,推动绿色、低碳、清洁的能源体系建设已成为我国面向21世纪的重大战略决策之一。在这一背景下,区域综合能源系统(Regional Integrated Energy System,RIES)因其能源利用效率高,节能减排效果显著等优点成为了当前能源工程领域的研究重点。然而,RIES的发展与应用虽然有效解决了传统能源系统能效低下、污染严重的问题,但随着需求响应机制的不断完善以及RI
锂硫(Li-S)电池可以提供较高的理论比容量(1675 mAh g-1)和能量密度(2600 Wh kg-1),被认为是最有希望的下一代可充电电池。然而,多硫化物(PSs)的“穿梭效应”和缓慢的氧化还原动力学,限制了Li-S电池的高功率输出,显著的容量衰减,阻碍了Li-S电池的商业化应用。本论文拟从Li-S电池聚吡咯修饰隔膜和金属硒化物正极材料方面出发解决上述问题,以实现高性能、长循环Li-S电池
随着社会经济完成工业化、信息化的变革之后,低碳经济发展模式将逐渐替代传统高排放发展模式并展现出巨大潜力,而低碳经济的提出也极大的影响到了零售企业的经营理念和方式。然而对于零售商来说,大型超市和百货商店等大型零售业态相较于便利店等小型零售业态来说是一个大的碳排放体,不符合低碳零售的要求的。此外,当前新零售也对零售商提出了更高的要求,大型超市能够服务更多的群体,但其具备高成本和高碳排放;小型零售店只能
为了适应未来个性化应用场景和极端的性能要求,5G网络充分利用了边缘云、软件定义网络以及网络虚拟化等新兴技术,为增强现实、远程驾驶以及工业互联网等应用提供高可靠和低时延的网络服务。利用软件定义网络与网络虚拟化技术,使得在同一个基础设施上可按需创建并运行多个逻辑网络,将网络功能与硬件解耦,实现灵活和可扩展的网络,以满足不同的差异化需求。服务功能链作为虚拟化网络中的一种任务执行方式,允许将各种网络服务功
癌症是危害人类生命健康的主要原因和增加预期寿命的重要障碍。近些年来,随着对肿瘤研究的逐渐深入,针对肿瘤微环境开发出来的特异性的治疗方法——化学动力学疗法(CDT)备受关注。基于传统芬顿反应的化学动力学疗法就是含铁的纳米材料在微酸性肿瘤微环境中溶解析出亚铁离子,亚铁离子与肿瘤部位过表达的H2O2发生芬顿反应产生·OH,使癌细胞脂质过氧化而调亡。由于芬顿反应的发生条件较为特殊,正常细胞内弱碱性的环境及
添加剂种类及含量是影响生物柴油离子含量的重要因素。以小桐子生物柴油为主要研究对象,利用离子色谱系统研究了5种降凝剂(平安者、秒速、易威、凡响、海龙)、抗氧化剂TEPA及其复配对离子含量的作用规律。5种降凝剂添加比例为0.4%时,油样中不同种类的离子含量变化趋势不同,有机酸离子含量变化趋势较小,无机阴离子和阳离子含量变小趋势显著,NO3-、Cl-、Br-、PO43-、NH4+、Mg2+、Ca2+含量
我国明确提出要在2030年实现碳达峰及在2060年实现碳中和的战略目标,开发可持续的清洁能源对于我国实现低碳经济和碳中和事业具有重要的现实意义和战略价值。复杂多变的自然与工业环境往往难以开展单一的能源转换,很可能会同时存在多元化的能源转化机制。因此,依靠自然界广泛存在的湿气和工业余热进行能源捕集已引起国内外研究者的广泛关注,成为当前清洁能源领域研究的前沿和热点。因此,本论文以具有分级多孔结构的柔性
随着我国经济的增长,社会用电量呈现逐年上升的趋势,用电量的提升对我国电力系统电能质量的要求也越来越高,所以必须从电网输电配电的各个环节降低电能的损耗,而无功补偿则是实现这一目标比较重要的措施。本文通过研究无功补偿的关键技术与设备发展,设计并实现了一套无功补偿系统,将其应用在配电变压器综合配电柜中进行测试并取得了良好的测试结果。主要工作总结如下:(1)通过大量阅读无功补偿的相关文献,了解无功补偿的技