基于上下文位置增强和带权空间的语音情感识别研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xd05724221
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感识别是人机交互领域的一项重要的应用。语音作为人类交流的重要媒介,也是信息传递的重要的载体,同时也是人类与计算机交互里面最重要也是最自然的一部分。语音情感识别作为情感识别的一部分,其通过语音来分析人类细微情感变化,推测人类心理,在实际应用也起到重要作用。比如,客服反馈系统、刑事审讯、教学管理以及医疗服务等。近年来,人们利用人工智能和深度学习技术来处理了语音领域的一些问题,语音情感识别作为语音领域的一部分取得了巨大的成功。但是在更多的实际情况中,我们面对的是有环境噪声干扰、语音片段不一、包含大量静音等对语音情感识别起干扰的真实环境语音,语音情感识别仍是一项艰巨的任务。为了解决语音中说话人所在环境噪声、静音片段、语料情绪分布不均匀等问题,本文提出了一个基于语音上下文位置增强和带权空间的语音情感识别框架,主要工作如下:(1)提出了基于语音上下文的位置增强方法。该方法旨在通过自适应学习和循环神经网络在时域上的记忆特性让模型关注到语音上下文信息对整个情感模块的作用,提升上下文信息对部分语音情感递进的影响。具体是通过改进Transformer的编码器部分,通过上下文位置的自适应学习,同时引入循环神经网络特征,来引导网络去主动地学习语音中上下文的情感传递,来提高网络对于情感的识别效率。(2)提出了带权空间的头空间增强方法。对位置特征以及原始特征进行选择。该模型利用Transformer编码器的头空间部分,利用头空间加权对一段语音的关键帧进行增强,借此来加强局部语音片段帧对整个语音的情感类别的影响,从而减少语料情绪分布不均匀以及噪声对于整个语音情感识别的影响。最终将以上两个方法在整个Transformer编码器部分网络进行改进,在IEMOCAP数据集WAR达到了70.3%,UAR达到了70.9%,F1值达到了70.0%,比基线模型Transformer编码器部分应用至语音情感识别WAR和UAR分别提升了2.0%和6.6%,与类似精度表现优秀的方法比较UAR和F1值分别提升了1.5%和0.7%。
其他文献
在人们对接入因特网的需求日益增长的今天,提供可移动、便捷地接入因特网的无线局域网越来越受欢迎。传输控制协议(TCP协议)原本针对有线传输环境而设计,但无线局域网具有高误码率、错误突发等特点与有线网络大不相同,所以TCP协议应用在无线局域网系统时,性能不如人意。因此,如何进行无线局域网中的TCP业务性能优化问题对推动无线局域网进步和发展具有重大的意义。本文深入研究并分析了无线局域网中TCP性能异常问
目的:通过观察调督针法治疗中风后肩手综合征的治疗效果,探讨调督针法治疗本病的疗效,为中风后肩手综合征的治疗探寻新的方法、新的思路。研究方法:本研究收集了河北省中医院康复医学科门诊随诊及病房住院治疗的60例中风后肩手综合征患者,将患者分为两组,两组均予以基础治疗,在此基础上治疗组联合调督针法治疗,对照组联合常规针刺治疗,同时保证治疗时间皆为4周。治疗前后分别利用视觉模拟评分法(VAS)、运动功能评分
声品质是车辆声学问题的一个重要领域。初期,人们从减小烦躁度、提升舒适性的角度来研究声品质,后来认识到对车内声的感知具有多维度属性。声品质在感知空间可分解成多个独立维度,最常见的为舒适性、动力感和运动感。目前针对车内噪声的控制大多以发动机噪声发火阶频率成分为被控对象来降低车内声,虽然可一定程度改善听觉舒适性,但也减弱了车内声与车辆运动状态的关联,去除了驾驶互动性方面的正面作用,甚至有负面影响,不能满
肺癌的发生常伴随人血清内腺苷和血管内皮生长因子165(VEGF165)的异常表达,因此对这两种肿瘤标志物的同时检测对肺癌的早期诊断和治疗具有重要意义。光子晶体微球具有独特的光子禁带特性,可呈现出不同的结构色,因此被发展成为一种编码载体进行多元传感分析。在本论文中,我们利用微流控液滴技术制备了尺寸可控、单分散性良好的二氧化硅光子晶体微球,通过光子晶体微球的结构色编码和核酸适配体的特异性识别实现了对人
使用电容作为储能元件的开关电容DC-DC转换器相比开关电感转换器可以提供更好的功率密度,更小的体积,因此在诸如便携式电子设备等低功率或面积受限的应用中更具吸引力,为保证设备可以长时间地稳定运行,提高开关电容转换器芯片的系统效率成为现在的研究热点之一。同时,由于PWM、PFM等调制模式下的开关电容系统有闭合环路,存在稳定性问题,因此对开关电容转换器系统的稳定性分析也成为当前研究的重难点。基于以上讨论
冲裁加工是板料成形最常用的工艺之一,其因加工效率高、生产成本低等优点而在汽车、仪器仪表、家用电器等产品制造领域得到了广泛的应用。板料经过冲裁后,制件边缘往往会产生高低不等的毛刺。毛刺的存在不但会影响冲裁件的断面质量,还会影响产品的使用性能,同时也会对产品生产和使用带来安全隐患。随着对冲裁件断面质量要求的不断提高,实现冲裁毛刺的有效抑制越来越受到国内外学者的重视。本文以板材的落料加工为研究对象,主要
目的:炎症因子、肿瘤标志物、血清酶学指标和病理特征是具有肿瘤预后潜力的常见临床生化、病理指标。目前已有不少研究报道单个临床病理指标与肿瘤预后的关联,但基于多个指标的经济实用的预后预测模型少见报道。本研究的目的是通过筛选并整合上述临床生化、病理指标,开发出可用于结直肠癌的实用、有效的预后预测模型,并利用临床动态数据对预后模型进行验证。方法:本研究收集了2013年1月至2017年12月期间在华中科技大
目的:研究环氧二十碳三烯酸(EETs)对肾脏钠-葡萄糖协同转运蛋白2(SGLT2)和葡萄糖稳态的作用及潜在机制。方法:在体水平,将雄性糖尿病小鼠和对照小鼠分别给予可溶性表氧化物水解酶(s EH)抑制剂1-三氟甲氧基苯基-3-(1-丙酰基哌啶-4-基)脲(TPPU)持续干预8周。(1)通过测量随机血糖、血浆胰岛素和葡萄糖耐量比较各组小鼠的葡萄糖稳态;评估各组小鼠的体重和血压变化;通过Elisa检测肾
DC-DC开关变换器作为电源的核心部分,具有能量转换效率高、体积小、可靠性好等优势,已经成为国内外电源领域的研究重点。随着电子信息产业的不断发展,DC-DC开关变换器将会展现出更加广阔的市场前景和研究价值。本文的主要内容是为Buck型DC-DC变换器设计合适的数字控制算法,提高变换器系统的瞬态响应能力。在传统数字PID控制算法的基础上,提出了自适应数字PID控制算法(Adaptive digita
面对我国高端装备构件结构复杂、大尺度的实际工程背景,其安全性问题急需在现有的损伤检测技术基础上发展快速、高精度、智能化的损伤检测方法。本文提出了一种利用卷积神经网络自动提取导波损伤特征的智能化检测方法,即对损伤检测区域进行分区,将损伤检测转化为基于卷积神经网络的图像分类任务。利用卷积神经网络建立损伤区域与导波信号特征的映射关系,进而可以对损伤进行即测即出结果的快速、智能识别。在实现损伤位置识别的基