融合音频、文本、表情动作的多模态情感识别

来源 :应用科学学报 | 被引量 : 0次 | 上传用户:dannychan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对机器识别人类情感过程中的精度不高、泛化能力不强等问题,提出了一种基于语音、文本和表情动作的3种模态情感识别融合方法。在语音模态中,设计深度波场延拓和改进波动物理模型,模拟长短期记忆(long short-term memory, LSTM)网络的序列信息挖掘过程;在文本模态中,利用含有多头注意力机制的Transformer模型捕捉语义上潜在的情感表达;在表情动作模态中,将提取面部表情和手部动作的序列特征与双向三层含有注意力机制的LSTM模型相结合。最终提出一种多性能指标下的模态融合方案,以实现高精度的、强泛化能力的情感识别。在通用的交互式情感二元运动捕捉语料库IEMOCAP中,将所提出的方法与现有的情感识别算法进行对比,实验结果表明:所提出的算法在单个模态和多个模态中的识别精度均较高,平均精度改善达到16.4%和10.5%,有效提升了人机交互中情感识别的能力。
其他文献
目的 研究会阴侧切术后患者应用心理护理的效果。方法 选取2020年3月~2021年3月本院92例会阴侧切术后患者,根据随机数表法将其分为对照组及研究组,每组46例。对照组进行常规护理,研究组在此基础上进行心理护理,对比两组焦虑自评量表(SAS)评分、抑郁自评量表(SDS)评分、健康调查简表(SF-36)评分、视觉模拟量表(VAS)评分、切口感染率、疼痛持续时间及护理满意度。正态计量资料采用t检验,
随着我国城镇化的推进和不断的工业发展,污水处理厂在将来会面对成分更复杂,流量更大的废水需要处理。所以就要求在现有的生物脱氮技术上,不断地探索,使生物法脱氮技术向更简洁高效,低能耗无二次污染的方向发展。详细分析了城市污水处理厂中污水的源头和成分,并改进生物法脱氮技术中的A~2/O处理工艺对废水进行处理。有效的做到了污水处理厂废水的脱氮除磷。
近年来,互联网金融发展迅速,成为一种新兴的金融运营模式。根据互联网的发展特点,互联网金融同样存在信息风险和创新弊端,需加强监管行为进行风险防范。本文基于对互联网金融监管的必要性和核心原则的分析,深入探讨互联网金融监管对于风险的规避与控制,加强互联网金融平台及消费者的信息、资本安全保护,以实现互联网金融的长效发展。
<正>在“产、销、收”等各环节综合施策,扩大优质供给,释放消费潜力,完善回收处理体系,推动绿色家电市场迈向高质量发展家住农村的张阿姨家最近购买了一款无氟变频一级能效空调,比额定功率的三级能效空调每年节电200千瓦时、减碳约300公斤;生活在城市的李大叔家买了使用零冷水技术的燃气热水器后,洗澡前无需放掉冷水,一年能节水约11吨,现阶段越来越多的绿色家电飞入寻常百姓家,为美好生活增光添彩。
期刊
<正>江苏省张家港市南丰幼儿园,于1999年8月独立建制,2006年投资3000万元易地新建,隶属于南丰镇政府。现设有南丰、永联及东沙三个园区,其有39个班级、1800多名幼儿、150多名教职员工。该园坐落在美丽的长江之滨,依托地理优势和人文特色,该园以"沙"作为学校文化建设和课程建设的载体,全力打造"沙艺术"教育品牌。"聚沙成塔、立美成人"、"以沙展美、以沙启智、以沙润心、以沙健体",幼儿园注重
期刊
历史教材主要是通过文字来描述历史,具有一定的抽象性和复杂性,初中生学习起来存在一定的困难。在历史教学中穿插历史图片可以有效地提升学生的学习兴趣,降低历史知识的难度,推动历史教学深入发展。因此,初中历史教师要结合教育改革精神,不断挖掘内涵丰富的历史图片,帮助学生更好地理解历史事件、历史人物等,使历史教学充满生机,学生的历史抽象思维得到进一步的发展。
中亚地区天然气资源丰富,是中国陆上天然气进口的重要来源地和能源通道,对保障国家天然气供应安全具有至关重要的作用。在资源方面,中亚天然气储产量及出口量主要集中在土库曼斯坦,其次是哈萨克斯坦和乌兹别克斯坦;对外合作方面,除土库曼斯坦外,中亚国家油气领域开放程度均较高,各类国外石油公司均参与地区油气合作;宏观风险方面,中亚地区5国政治形势总体稳定,但在多国步入政治经济转型期、新冠疫情持续、大国博弈激化、
目的 利用上海糖尿病专病临床大数据分析2型糖尿病患者的人群结构,更好地呈现2型糖尿病患者的年龄分布和性别差异。方法 上海糖尿病专病临床大数据来源于上海申康医院发展中心医联工程与信息化部大数据平台。原始临床数据经过脱敏、加密等安全处理后导入医联科研平台,研究分析主要使用R语言进行数据清洗、整理、统计和绘图。结果 截至2020年底,排除死亡等因素后数据库中累计上海2型糖尿病医保和社保患者共77.2万人
通过某二级公路滑坡的成因及稳定力学分析,将不平衡推力计算的稳定系数和剩余下滑力作为边坡治理方案设计的重要参数。通过验算,提出了抗滑桩支护方案。并在施工期间对最容易出现滑坡的主滑断面全程进行监测,对边坡开挖过程稳定性进行了评价。安全监测结果表明,位移量在安全规范的范围内,表明该滑坡治理有效。
脓毒症是威胁人类生命健康的重大疾病,其发病机制复杂且仍未完全阐明,临床多以支持治疗为主,缺乏特异性治疗方法。针灸防治脓毒症具有重要的临床意义,本文系统检索中国知网(CNKI)和PubMed数据库,纳入针灸防治脓毒症的临床和动物实验相关研究性文献,归纳总结针灸的临床疗效及作用机制,发现针灸在防治脓毒症中主要发挥抑制全身炎性反应,减轻氧化应激反应和调节免疫系统的作用,并对多器官具有保护作用,涉及胆碱能