基于深度孪生后端网络的说话人确认方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:ll19870627
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本无关的说话人确认可以被看作是一项二分类任务,旨在利用对应身份的注册语音,在文本内容不限定条件下,确认待识语音是否是同一说话人所说。说话人确认技术常用于身份验证,或用于实现一个开集说话人识别系统。该任务首先需将不定长的语音信号映射为定长的说话人特征向量,然后进行不同信号特征间的相似度计算。近年来,深度学习方法被广泛引入说话人特征表示环节,即前端部分,使说话人确认的性能得到飞跃式提升。但是,深度模型较少被应用于相似度计算环节,即后端,少数围绕概率型线性分析(Probabilistic Linear Discriminant Analysis,PLDA)方法展开的深度学习工作也囿于PLDA的结构,存在参数量低、学习能力差等问题。本文对基于深度模型的说话人特征相似性度量问题进行了研究,首先,基于PLDA的对角约束,提出了无需PLDA初始化的基于对角约束的深度孪生后端网络(diagonal Siamese-based Backend Network,SBN)以仿真PLDA的计算过程,并对后端模型的学习能力进行了扩展。一方面简化了PLDA的拓扑结构,使其更易于纵向拓展并接纳新参数,从而提升模型的学习能力。另一方面,相似度计算可视为一个测度学习(metric learning)问题,我们据此引入了该领域经典的三元损失目标函数来辅助网络训练。实验表明,在公开语音数据集Vox Celeb上,SBN相较PLDA有11%的相对提升。进一步地,为更好地学习二阶信息,我们放松了对角约束的限制,通过对d SBN的横向拓展,提出了基于块对角约束的深度孪生后端网络(block diagonal SBN,b SBN)和无约束的深度孪生后端网络(unconstrained Siamese-based Backend Network,u SBN)。对于给定的二阶信息矩阵,u SBN对整个矩阵的每个元素都设置对应的参数进行学习,b SBN则采用块对角参数共享的方式降低所需的参数量。我们同样利用三元损失辅助这两网络结构的训练。实验表明,在Vox Celeb数据集上,b SBN和SBN的性能相近,而u SBN则相较PLDA甚至有20%的相对提升。
其他文献
篇章级事件抽取是信息抽取技术的一个分支,可以从篇章文本中自动抽取出用户感兴趣的结构化的事实信息,目前已经在金融、法律、医疗、新闻摘要等领域有着极高的应用价值。本文在分析当前流行的句子级和篇章级事件抽取方法的基础上,以解决篇章级事件划分和论元分散等问题为目的,我们提出了基于论元粒度的统一评价指标,并从以下三个方面做了充分研究:(1)基于阅读理解技术的流水线式篇章级事件抽取方法研究。本文提出了一种基于
学位
当代中国正处于百年未有的重大变局之中,国家、社会、个人三个层面皆面临着价值重塑的问题。对主流价值观的传播直接切中中国特色社会主义建设最深层次的问题。同时,互联网和多媒体技术的迅速兴起使得文本数据呈爆炸式增长,如何合理有效地实现内容的主流价值观认知理解是一项极具挑战性的难题,在主流价值观上的相关研究对于净化网络空间,维系和谐稳定的社会环境,具有重大的现实意义。本文首先构建了一个主流价值观知识图谱,并
学位
吉华1变质岩潜山地区位于河套盆地临河凹陷的西南部,该地区的储层类型为变质岩储层,且裂缝的发育程度在很大程度上影响了单井的产能。本论文对吉华1潜山变质岩储层裂缝的分布规律进行了描述,明确了影响研究区变质岩储层裂缝发育的主控因素,最后运用多信息融合和数值模拟等方法对裂缝的分布进行了综合评价,这将对变质岩潜山储层裂缝的研究和研究区的下一步勘探具有重大意义。通过对露头区、钻井岩心、铸体薄片、成像测井及常规
学位
报纸
近年来,人工智能不断发展,已经扩展到日常生活的方方面面。作为人工智能的重要子领域,自然语言处理方向上涌现出越来越多的重要技术,段落级的长文本生成技术也得到了极大的发展。目前,段落级的文本生成主要有两种做法,抽取式是从语料中抽取句子进行组织,形成可读的连贯文本;生成式是通过端到端的深度神经网络,逐字地生成段落文本。但是,目前神经网络生成的文章依然有着连贯性较差的情况,尤其在抽取式方法中,问题更为明显
学位
近年来,VR、AR等技术已经广泛应用到教育、医疗等各个领域。绘本作为儿童的一种重要读物,具有十分重要的教育作用。目前,传统的各类绘本虽然画面精美,但在沉浸性、交互体验方面还略有不足,而AR等虚拟类技术可以很好地解决这个问题。采用Unity平台,基于国产的EasyAR引擎,以一个AR绘本制作为例,说明了设计的流程和主要技术,并就设计过程中的一些复杂问题,提出了改进的方法。设计出的AR绘本,体验效果好
期刊
<正>教师发展支持体系建设被称为中英西南项目的一个亮点。云南教师发展支持体系的建设,受到英方专家高度评价,认为其经验可以向其他国家介绍。云南的探索,其实是中英西南项目坚持探索创新的一个缩影。
期刊
<正>北京市第二十中学附属实验学校于2014年9月1日正式成立,是一所现代化的九年一贯制学校,是北京市第二十中学教育集团的重要组成部分。学校占地40亩,建筑面积4万多平方米,在校学生2200多人,学生在文学、艺术、体育方面有长足的发展。
期刊
随着互联网技术的飞速发展,互联网产品如各种应用应运而生。大规模增长的数据需要数据库的管理才能更好地被使用,而数据库中检索数据的一个重要的方法是使用索引,索引在提升数据库性能方面起着至关重要的作用,高效的索引可以大幅度提升数据库管理数据的性能,因此许多工作致力于索引的优化研究。近年来随着机器学习的热潮,学习索引的概念进入数据库领域研究人员的视野,如何利用机器学习技术进一步提高索引的性能受到高度重视。
学位
报纸