【摘 要】
：
近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层
【机 构】
：
河北工业大学人工智能与数据科学学院,中国科学院自动化研究所模式识别实验室
【基金项目】
：
国家重点研发计划(2017YFB1002804),国家自然科学基金重点项目(61831022,61771472,61901473,61902106),天津市自然科学基金(19JCZDJC40000),河北省自然科学基金(F2020202028)。
论文部分内容阅读
近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得
其他文献
面对当前学前教育消费增加,幼儿园机构师资紧缺等问题,北京高职院校学前教育专业设置与结构优化应契合首都“文化中心”定位和幼教行业市场需求,向“专业群”扩展升级,聚焦社
“双师型”教师教学创新团队建设是“双高计划”建设的重要改革发展任务。高职院校师资队伍存在的教师数量不足、教师队伍结构失衡、教师素质有待提高等问题是制约高水平建设
教育评价事关教育发展方向,有什么样的评价指挥棒,就有什么样的办学导向。职业教育是培养技能人才的摇篮,职业教育技能人才评价制度由“双证书”制度向“1+X”证书制度发展,
随着我国教育信息化的持续发展与推进,各类学校已经积累了大量有价值的数据。由于过程中缺乏信息化总体建设规划,导致数据孤岛和数据碎片化现象严重、数据管理体系不完善、数
植物多样性的生态茶园建设是今后我国茶园生境管理的长期性任务。为了更加科学地选择利用靶标植物而构建植物多样性生态茶园,本文根据已有研究报道详细划分和定义了八种次生
高职院校百万扩招是扩大就业创业、促进经济发展和社会和谐稳定的一剂良方。高职院校深化落实百万扩招,需要兼顾有教无类和因材施教,从“招进—培养—输出”全过程、全环节、
针对D2D中继通信中D2D设备电池容量受限问题,本文提出了一种逐步优化功率控制和中继选择从而最大化系统能量效率的方法。首先,在满足蜂窝链路最小数据速率的条件下,将功率控
目前,人脸美丽预测研究面临模型泛化能力欠佳、数据量不足、以及易于过拟合等问题。十字绣网络(Cross-Stitch Network)通过激活多个网络,进行端到端的学习,自动决定共享层,但忽略了图像信息主次问题。因此,本文对十字绣网络进行改进,将其部分层网络更换为自注意力(Self-Attention)模块与长短时记忆(Long Short Term Memory, LSTM)模块,从而实现层与层之
非负矩阵分解(Nonnegative Matrix Factorization, NMF)技术已经成为了高光谱解混领域研究的热点。但是如何有效地利用高光谱的空间和光谱信息仍然是一个难点,尤其在确定局部邻域时,往往会遇到结构固定等问题。针对以上问题,提出了一种基于自适应局部邻域加权约束的非负矩阵分解算法。算法根据丰度的数据特点可以自适应确定给定像元的局部邻域,算法中的权重充分地利用了给定像元和邻域内
在室内指纹定位中,室内环境会影响以接收信号强度指标(Received Signal Strength Indicator,RSSI)或信道状态信息(Channel State Information,CSI)的指纹数据,使得采集指纹数