【摘 要】
:
随着人工智能时代的到来,人们对于机器设备的期望不再只停留于科学计算,如何让计算机更加智能高效成为更多科技从业者的工作目标和价值追求。其中,情感智能计算是改善人机交互的重要组成部分。但目前智能情感计算的发展仍然面临严峻的挑战,包括多模态特征使用不充分、情景信息挖掘不完全等,导致情感识别率较低。本文基于目前计算机领域和心理学相关研究成果,模拟现实生活中人类情感的表达方式,提出基于情景注意力神经网络的多
论文部分内容阅读
随着人工智能时代的到来,人们对于机器设备的期望不再只停留于科学计算,如何让计算机更加智能高效成为更多科技从业者的工作目标和价值追求。其中,情感智能计算是改善人机交互的重要组成部分。但目前智能情感计算的发展仍然面临严峻的挑战,包括多模态特征使用不充分、情景信息挖掘不完全等,导致情感识别率较低。本文基于目前计算机领域和心理学相关研究成果,模拟现实生活中人类情感的表达方式,提出基于情景注意力神经网络的多模态情感识别方法和基于迁移学习和注意力机制的跨语料库情感识别算法,在主流的公开数据集上进行实验,并与目前先进算法进行对比。具体工作如下:(1)针对对话中情感动态特征提取的难点,本文提出了一种基于情景注意力神经网络的多模态情感识别方法。在该算法中,首先对文本、语音、视频进行特征提取工作,并进行基于注意力机制的特征融合操作。然后,设计双向GRU网络提取整段对话的全局对话情景特征。最后,将融合后的特征向量和全局对话情景特征送入神经网络,利用神经网络中嵌入的情景注意力模块来挖掘两者的关联性,对目标说话人做出情绪状态判断。通过在IEMOCAP数据库上进行了针对6类情感的实验,本文所提出的方法准确率达到64.6%,F1分数值为63.7%,并且在部分情感上的分类表现较好。在此基础上,本文也通过将不同组合的模态信息分别作为输入进行训练和测试,验证了多模态数据包含更多的情感信息以及基于注意力机制的多模态融合方式是可行且有效的。(2)基于训练数据标注成本较高和实际应用中训练、测试数据存在差异的现实问题,本文还提出一种基于迁移学习和注意力机制的跨语料库情感识别算法。在基于情景注意力算法中“上下文情感动态特征”工作的基础上,该算法在选取特征进行迁移时,除了使用传统情感特征,也提取上下文中有关于情感动态变化的特征。在迁移过程中,使用注意力迁移机制使得目标任务的特征图与源任务的特征图尽可能相似,进而完成知识迁移。实验设置以不同初始化比例的预训练参数进行迁移。在IEMOCAP和Daily Dialog两个目标数据库上,F1分数分别达到59.5%和47.9%。并且在实验对比中,该算法的表现基本能够持平目前先进算法,并在一些情况下表现更优。
其他文献
随着工业生产技术的提高,机器人越来越广泛的应用于人类的日常生产生活中。然而,机器人的生产水平受限于生产环境的变化难以实现柔性化生产。通过感知外在环境,机器人可以根据获取的信息来调整自身的姿态。因此,本文提出了一种基于智能感知与学习的机器人抓取与装配方法,并在此基础上设计了机器人抓取与装配系统,并利用实验进行了验证。主要内容包括以下几个方面:首先,在智能感知层面上,基于RGB-D图像构建了一种五维抓
近年来,由于视频播放平台的快速发展、摄影设备的不断迭代以及移动通信的广泛使用,视频的数量呈现爆发式地增长。因此,如何从视频中提取信息就成为了一个亟待解决的问题。动作识别是视频理解领域中一个基础而关键的问题。早期,研究者通常使用手工设计的特征来捕捉时空特征进行分类。现今深度学习方法凭借其强大的特征提取与拟合大体量数据能力在动作识别领域取得了重大突破。然而,现有深度动作识别方法对于识别复杂场景下的动作
轮式移动机器人因其具有承载能力强,灵活性高等优良特性而被广泛应用于现代工业、航天、军事和民用领域。轨迹规划作为实现机器人自主运动的重要组成部分,不仅能够为移动机器人规划可行路径,而且所包含的速度、加速度等信息对于移动机器人后续的轨迹跟踪控制至关重要。然而,由于自身或是环境中的不确定性因素干扰,轮式移动机器人很难按照预先规划的路径正常运行,且以往对于移动机器人轨迹规划的研究很少事先预估不确定性对于全
机器人抓取是智能机器人的一个基础功能,也是一个具有挑战性的任务。得益于深度学习的发展,研究者们提出了许多抓取姿态检测算法,然而对于这些深度学习算法而言充实的数据集必不可少。机器人可能在不同环境中移动,当环境变化时,需要创建新数据集并重训练模型以保持网络模型的性能。但是,数据集标注是一个非常消耗资源的过程。主动式学习旨在缓解深度学习算法对大量标注数据的依赖性,主要途径是选择出未标注数据集中最具有信息
对病理图像进行格里森分级作为前列腺癌诊断的金标准在临床中被广泛应用,然而传统的人工诊断结果主观性强,且耗时费力。因此,基于深度学习的格里森分级技术受到了越来越多的关注。目前对该领域的研究存在以下不足:(1)多数研究在数据预处理中忽略了病理图像的噪声,数据集质量较差。(2)现有研究的关注重点在于格里森得分的高低分类(GS=8),忽略了对GS=7的进一步分类。但G3+G4和G4+G3
采用先进的波浪模拟控制技术的造波机系统,能够在实验水域内精准模拟产生波浪,并使其作用于各种模型结构物上,对海岸和近海工程设计、波浪理论的研究等具有重要意义。波浪模拟控制技术属于多学科交叉的技术范畴,涵盖了波浪理论、运动控制、机械构造、信号电子技术等多学科知识。本文根据工程项目中遇到的相关问题,分别对波浪模拟控制系统中的运动控制技术、数据处理方法、软件功能设计中的关键问题进行了深入研究。本文以波浪理
无线通信技术使网络终端得以延伸,万物互联的物联网时代也随之到来,物联网技术的快速发展使多个领域的技术与系统业务融合在一起,为人类的生活生产等活动提供无所不在的服务。智能家居是物联网技术的一个重要应用,随着物联网技术的不断成熟,该产业也由智能单品控制逐步向场景联动阶段发展,用户通过自定义场景联动规则,使各设备间实现互联互通,在此过程中系统内的互操作性也大大增强。用户需求的增加使得系统内的服务数量逐渐
机器学习已被广泛应用于社会生产生活当中,它为我们的生活提供了巨大的便利,也为生产力的发展提供了动力.在众多机器学习模型中,多任务学习模型是能够提高训练效率,降低样本需求的重要分支,在诸多方面都已经有了许多成功应用.但是,多任务学习模型在理论方面仍存在一些不足,已有研究成果通常仅考虑各任务的泛化差距的简单求和形式,所得到的结果通常只能反映模型在所有任务上的平均性能,而不能对每个任务的性能进行单独评估
目的探讨老年心源性呼吸衰竭患者机械通气后早期拔管失败的危险因素及建立预测模型。方法纳入本院心源性呼吸衰竭接受有创机械通气后于24 h内拔除气管插管的年龄≥60岁患者311例,将30 d内再次插管的41例为失败组,成功撤机的270例为撤机组。用多因素logistic回归分析30 d内再次气管插管的危险因素,构建预测模型,用ROC曲线和校准曲线及决策曲线分析验证模型的准确性和获益率。结果失败组院内感染
非编码RNA在许多动植物生命活动中扮演着重要的角色,具有代表性的是miRNA和lncRNA。越来越多的研究表明,miRNA不仅可以与mRNA相互作用,还可以与lncRNA相互作用,影响生物学过程。目前对于miRNA和lncRNA的研究主要集中在人和动物上,对于植物的miRNA和lncRNA研究相对较少,而对植物miRNA和lncRNA相互作用的研究就更少了,且分散在不同物种中。植物miRNA和ln