【摘 要】
:
语音作为人类交流常用的手段之一,蕴含丰富的情感信息,如何让机器通过语音判别人所处的情感状态是人机交互的挑战之一。语音情感识别主要是利用计算机自动识别语音信号中蕴含的情感,是情感计算、模式识别等领域的热门课题之一。然而,语音信号易受环境噪声、说话人身份、语种等因素的影响,使得其情感信息的表征非常困难,极大地制约了语音情感识别模型的泛化性。而跨数据库语音情感识别作为一种特殊的语音情感识别任务,针对训练
论文部分内容阅读
语音作为人类交流常用的手段之一,蕴含丰富的情感信息,如何让机器通过语音判别人所处的情感状态是人机交互的挑战之一。语音情感识别主要是利用计算机自动识别语音信号中蕴含的情感,是情感计算、模式识别等领域的热门课题之一。然而,语音信号易受环境噪声、说话人身份、语种等因素的影响,使得其情感信息的表征非常困难,极大地制约了语音情感识别模型的泛化性。而跨数据库语音情感识别作为一种特殊的语音情感识别任务,针对训练数据和测试数据来自不同数据库的情形,更符合语音情感识别的实际应用场景。因此,本文针对跨数据库语音情感识别任务,结合领域自适应理论和深度学习方法,从跨领域特征分布匹配的角度展开深入研究。本文的具体工作如下:(1)提出一种新颖的全局局部尺度对抗网络。为了获得更强判别性和泛化性的语音情感特征,网络从语音信号的时序特征进行情感信息建模。针对语音信号的时序性,提出了一种在局部、全局、融合尺度上新颖的语音情感特征的提取方法,该方法融合了手工语音特征、深度语音特征等多种尺度特征的互补优势,能够更好地同时表征不同数据库中的语音信号。同时,还提出一种基于注意力的时序信息建模网络,筛选出与情感相关的语音帧或段,以获得判别性强的语音情感表征。此外,为了消除源域数据库和目标数据库的语音特征分布差异,提出了一种分层级的差异对抗网络,在局部、全局、融合尺度特征层面上协同地消除域间差异,获得泛化性更强的语音情感特征。(2)提出了一种基于条件领域对抗的跨数据库情感识别方法。为了在消除不同数据库中语音情感特征分布差异的同时更有效地保证语音情感特征的判别性,在方法(1)的基础上,将语音情感特征与情感预测信息作为条件信息加入领域对抗学习中,更有效地联系了特征与类别信息。具体来说,建立一个条件判别器用于判别源域-目标域语音特征与语音情感预测之间的互协方差,然后利用情感预测网络从语音特征中预测情感类别,以保证语音的情感判别性。条件判别器和情感预测器以一种竞争的方式协同训练,利用语音特征和预测标签信息之间的关联性表征了语音数据情感类别的结构性,实现了更精确的领域特征分布匹配。(3)构建了一个语音情感识别系统,该系统具有播放语音音频、语音特征提取、语音情感分类等功能。可以对语音数据进行播放,可视化提取的语谱图特征,显示语音情感的识别结果。
其他文献
随着移动互联网和智能终端的不断发展,移动智能终端应用于生活的各个方面,在日常的生活、娱乐、工作、学习以及移动支付等方面成为不可或缺的一部分。移动智能终端中存储着用户大量的个人隐私数据,认证系统成为保护用户隐私数据的一道重要防线。但是大量的侧信道攻击手段威胁着传统的显式认证,如基于计算机视觉的侧信道攻击和基于触摸屏油污的攻击等,用户的认证凭据面临着泄露的危险。此外,移动应用的发展使得感知用户正在运行
随着人本主义心理学和第二语言习得的发展,国内外学者对外语学习的研究对象逐渐从教师转向学生,“学习者”成为研究重点。语言学习观念作为影响学习者学习的重要要素,受到了广泛的关注。20世纪70年代,国内外学者研究发现,学习策略的应用对英语学习有很大的影响。《普通高中英语课程标准》(2017版)阐述了学习策略在英语学习中的重要性。因此,高中生语言学习观念、学习策略与英语学业成就之间的关系值得探究。本研究以
随着移动互联网快速发展,以大众点评、Yelp等为代表的位置信息服务应用日益普及,用户通过签到、评论等行为分享他们喜爱的兴趣点,以记录所见所闻、旅行足迹。由于兴趣点数据呈指数级别增长,为了帮助用户找寻感兴趣的位置地点,兴趣点推荐技术应运而生。基于兴趣点推荐结果,服务商可以帮助用户快速获取满足喜好的兴趣点,提升用户体验;同时,也可以帮助店铺精准地吸引潜在客户,提高营销收入。相较于电影、音乐等推荐任务,
2016年,中国最高人民法院首次提出建设立足于时代发展前沿的“智慧法院”。在这样的形势下,构建法学领域的知识图谱是建设“智慧法院”的有效辅助手段,具有重要价值。构建领域知识图谱的前提是构建其概念体系,其包含了领域概念、领域概念间的上下位关系和概念属性关系等。传统的概念体系构建方法是采用领域专家进行人工构建,需要耗费大量的人力成本。因此,自动构建概念体系成为加快构建领域知识图谱的重要课题。现有领域概
蜱是一种专门吸血的节肢动物,蜱能够将最广泛的病原体(包括细菌,原生动物,真菌,线虫和病毒)传播给人类,是我国第二大传播病原体的传播媒介,是国家重点防疫传染病之一。我国地理环境复杂,随着当代城市化,气候变化以及人,动物及其各自栖息地之间相互作用的迅速变化,导致蜱寄生的宿主在自然界种类较多。蜱叮咬宿主后将口器中携带病原的唾液通过吸血的方式,使病原进入宿主体内。此外,蜱的传播感染是全畜牧业巨大经济负担的
遥感技术目前已广泛应用于多种军事和民用领域,准确地检测出图像中的物体对于分析和利用这些图像非常重要,并在安防、交通和救援等方面有重要的应用价值。随着卫星遥感以及航空摄影技术的快速发展,遥感图像的分辨率越来越高,人们可以获取更多的地物信息。然而,随着遥感图像分辨率的提高,图像处理难度也有所增大。随着计算力的快速发展以及许多优良网络结构的出现,深度学习在计算机视觉领域取得了显著成果。深度学习的出现给遥
乡村治理,人才是关键。随着国家治理体系的完善和推进乡村振兴发展的需要,使得乡村人才队伍的建设显得尤为重要,乡村治理和发展正需要能人所具备的能力资源,各地政府相继出台各种政策吸引人才回乡,建设乡村,推动乡村发展。在大力推动人才回乡的政策背景下,许多能人进入乡域,融入当地,参与乡村治理;但同时,一部分能人返乡之后,由于各种原因,无法获得村民的认可,无法顺利进入当地的治理体系,进而阻碍其参与乡村治理。而
机器学习作为当前数据计算科学领域的焦点,强化模型预测性能是学界长期关注的热点方向,在此背景下研究者们提出了集成学习方法,该方法的基本思想是通过集成多个模型的推断结果,改善单个模型学习能力较弱的困境。但目前传统的集成学习仍存在两点缺陷:一是模型训练运行效率低下,即为了获得更优秀的模型性能导致单一模型训练运行时间以及集合推断结果的时间不断增长,传统的单机串行方式无法满足其应用需求;二是模型超参数依赖人
呼吸检测技术分为接触式和非接触式,对于一些特殊的人群来说,接触式检测操作不方便,而非接触式呼吸检测,尤其是红外热像仪呼吸检测,由于它是非接触的且操作简单,在临床上对某些不方便行动的病人进行呼吸检测是一种非常有价值的检测手段,因而目前对于它的研究最多,但是利用分辨率较低的红外热像仪进行检测,尚未有成熟的实现方案。本文利用红外热像仪采集热图像,利用鼻孔中气流变化的特点作为研究对象来测量鼻子的呼吸,主要