【摘 要】
:
语音识别、声纹识别等语音处理模型由于其成本低、效率高等优点被广泛应用于智能会议、客服会话处理场景中。然而,若对未经处理的音频操作,识别效果不仅会受到环境或噪声等其它因素的影响,而且不同人连续说话这种现象会对语音模型产生限制,这些不良影响会导致语音处理模型性能的下降。说话人差异性分析任务能够根据音频信号生成对应的更加结构化的文本信息,使其它语音处理模型能够针对每一位说话人在其对应发声时间内的信息作处
【基金项目】
:
教育部-中国移动科研基金(2018)项目:语音智能对话系统(MCM20180404); 重庆市基础研究与前沿探索(重庆市自然科学基金)项目:基于深度学习的车载多轮对话系统(cstc2018jcyjAX0167);
论文部分内容阅读
语音识别、声纹识别等语音处理模型由于其成本低、效率高等优点被广泛应用于智能会议、客服会话处理场景中。然而,若对未经处理的音频操作,识别效果不仅会受到环境或噪声等其它因素的影响,而且不同人连续说话这种现象会对语音模型产生限制,这些不良影响会导致语音处理模型性能的下降。说话人差异性分析任务能够根据音频信号生成对应的更加结构化的文本信息,使其它语音处理模型能够针对每一位说话人在其对应发声时间内的信息作处理。本文深入研究说话人差异性分析的各个模块,设计出一种基于混合深度神经网络的说话人差异性分析模型,具体工作如下:1.针对语音分割得到的语音片段需仅有唯一说话人信息的问题,以语音信号和频谱图为对象,本文设计双向长短期记忆神经网络构建语音分割模型,利用语音信号的时序信息在时间上下文建立依赖关系,通过分类结果对语音段进行分割。相比于基于能量的语音活动检测模型,虚警和漏检率分别降低了2.42%和1.2%,同时,使得说话人差异性分析错误率平均降低了5%。2.针对说话人声纹特征向量质量不高的问题,通过构建基于深度残差交替卷积神经网络的模型,使用残差连接利用原始信息,增强了模型的训练效果。同时,相比于基于Res Net、Res Ne Xt、X-vector等网络的说话人差异性分析模型,使用了局部加全局注意力机制执行特征重新校准,提高了说话人声纹特征向量的质量,达到了降低说话人差异性分析错误率的目的。并且在模型构建过程中加入轻量化设计思想,使模型参数量达到761万,最终在Voxconverse数据集上说话人差异性分析错误率为4.12%,在AMI数据集上为7.34%。3.针对在没有说话人数量的先验知识条件下,怎样聚类得到合适的说话人类别数的问题,引入近邻传播聚类方法(Affinity Propagation Clustering),结合基于Bi-LSTM的语音分割模型与深度残差交替卷积神经网络构建完整的说话人差异性分析模型。相较于层次聚类与谱聚类,错误率平均下降了1.1%,并且突破了分类数量先验知识的限制,实现了随机说话人数量的聚类。
其他文献
时间同步是无线传感器网络的重要基础技术之一,其作用是为系统提供一个统一的时间基准,确保网络中的节点之间能够协同工作。目前,无线传感器网络中的大多数时间同步算法都需要完整的时间戳信息来估计时钟频偏与相偏,以维持节点间的时间同步。近年来,一种仅利用有限时间戳信息实现时钟参数估计的免时间戳同步机制备受关注。它不需要交互任何时间戳,同步信息通过接收者对发送者的预定义响应传递,因此参数估计功能可以无缝嵌入到
工业互联网是现代工业基石,工业网络在其中扮演着重要角色。工业网络由工业以太网、工业现场总线和工业无线网络等类型构成。典型的工业网络协议包括Ethernet/IP、Profinet、Ether CAT等。在工业网络中,根据应用功能的不同,报文可分为多种业务类型,它们之间存在优先级差异。此外,工业网络设备之间进行通信的数据流量,具有随时间发生变化的特点。工业现场总线、工业无线网络与互联网通过工业骨干网
以63尾草鱼为样本,利用微卫星分子标记技术初步筛选出与生长性状相关的分子标记。K-S和QQ图分析显示草鱼体长、体高和体重3个主要生长性状均为正态分布。利用SPSS 20.0分析不同基因对草鱼生长性状的影响,共获得13个基因型;同时发现D基因对草鱼生长性状具有负调控作用,而B、C基因对D基因有抑制作用。微卫星标记与草鱼3个主要生长性状关联分析显示,4对引物HLJC107、HLJC111、C2056、
文章从隧道数字孪生技术体系、全寿命周期数字孪生体构建技术、隧道土建工程性能化数字孪生研究、隧道交通工程性能化数字孪生研究四方面探究了高速公路隧道数字孪生体系的构建方法,最终在体系指导下,完成白兆隧道数字孪生系统构建研究。
时间触发以太网(Time-triggered Ethernet,TTE)是一种新型的实时以太网协议,广泛应用于航空航天领域等高可靠性、高实时性要求的系统领域。然而目前时间触发以太网采用离线调度表生成算法,对于时间触发(Time Tirggered,TT)消息的保护时间不能随着网络的变化动态调整,造成时间触发消息的保护时间过长导致网络链路资源的浪费,或时间触发消息的保护时间不够引起时间触发消息冲突,
智能汽车是当前汽车发展与研究的主要方向。智能汽车研究的关键问题包括环境感知、车辆定位和车辆运动的规划与控制等。紧急情形下,提前感知障碍物和合理预测避障轨迹将直接影响智能汽车行驶的安全性。本文研究建立在实验室项目基础上,以基于障碍物网联感知的避障轨迹预测为研究对象,主要研究内容如下:1.针对本文研究对象,进行障碍物网联感知系统设计。从车联网通讯系统展开研究,搭建障碍物网联感知系统架构;进而,根据研究
智能网联汽车的信息共享对提高交通道路安全有着至关重要的作用。而汽车定位又是其中基础而关键的问题,通过共享定位信息可以提高智能网联汽车的定位精度。因此,将智能网联汽车的网联技术和定位技术相结合具有十分重要的研究价值。通过对国内外相关领域研究现状的调研和分析发现,现有研究针对智能网联汽车定位技术可分为自身定位和非自身定位两类:一是通过自身传感器定位;二是利用网联环境下非自身定位信息进行协同定位。在自身
本文以目前我国高速公路智慧隧道管控平台的市场前景需求为出发点,分析了数字孪生技术的应用,介绍了智慧隧道管控平台的架构与功能,进一步分析了智慧隧道管控平台的市场前景,以期为智慧化隧道管控提供新方法。
随着工业网络智能化、数字化程度的显著提高,对于网络中数据传输的实时性和可靠性有着更加迫切的要求。时间敏感网络(Time Sensitive Network,TSN)是一种应用于数据链路层,旨在构建低延时、低抖动和高可靠性的以太网技术,解决了标准以太网中无法满足实时性和可靠性通信的问题。为了确保传输可靠性,时间敏感网络提出了IEEE 802.1CB(Frame Replication and Eli
在任何数据集中,偏离大多数常规模式的事件称为罕见事件。这些事件可能是任何异常活动,欺诈、入侵或可疑异常事件,这可能对该领域应用有害或有用。这些活动称为异常,重视异常活动对整个系统的稳定性和精准性是非常重要的,因为这种未被发现的事件可能是系统中任何形式的表现模式。异常活动在各个场景下大都包含了重要的信息,忽视它们往往会造成不可挽回的经济损失,这使得异常检测成为重要的研究内容。近年来,深度神经网络在各