基于感知多级混合注意力跳变连接的语音增强

来源 :邢璐 | 被引量 : 0次 | 上传用户:kpku88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着数据信息的快速增长,深度学习技术的引入使得语音增强实现了新的突破和发展。传统语音增强算法存在许多限制条件,且无法保证语音信号的质量和可懂度。而基于深度学习的语音增强方法要优于传统的算法,其中深度神经网络(Deep Neural Network,DNN)仅使用少量的网络层就保证了去噪效果,但是其单一的自身结构限制了语音增强性能的提升,且该网络没有充分利用相位信息使得网络不利于语音信息的恢复,而指标不匹配问题更是影响语音增强的效果。为了改善上述问题,进一步提升DNN网络在低信噪比环境下语音增强的性能,本文对DNN结构进行改进,着重关注特征整体和内部间的联系,优化网络结构,并同步估计相位信息,最后利用改进的感知相关代价函数提升增强后语音的质量和可懂度,主要研究内容和贡献如下:(1)在网络输入层,本文融合对数域、伽马通域和梅尔域三个互补域的特征,使网络获得更多的有用信息。通过拼接对数功率谱(Log Power Spectra,LPS)、伽马通滤波器倒谱系数(Gammatone Frequency Cepstral Coeffi-cients,GFCC)和梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)完成特征内部互补,提升语音增强的性能。(2)对深度神经网络模型进行改进。以跳变连接的深度神经网络(Skip ConnectionsDNN,Skip-DNN)为基本网络框架,在网络中间层,通过结合全局注意力模块和自注意力模块,改善了网络难以同时感知整体信息和特征之间内部相关性的问题,并且采用多级跳跃连接结构嵌套跨级连接,融合每个网络块提取的重要特征信息,利用构建的关联性特征推断每个特征向量的权重系数,从而减少特征融合带来的冗余。经实验验证,相比于采用特征融合的Skip-DNN语音增强算法,该算法的语音质量和短时客观可懂度评估指标分别平均提升了0.18和0.03。(3)针对单个DNN网络进行语音增强时忽略了相位对语音影响的问题,提出了多目标学习任务,同时估计语音的幅度信息和相位信息,进行联合优化深度神经网络。在此基础上提出了具有联合约束的感知相关代价函数,结合人类听觉感知特性,改善了指标失配的问题,结果表明该方法有效增强了语音听觉质量和语音可懂度。
其他文献
天然气被认为是目前世界上使用最广泛且低碳清洁的一种化石能源,可以用于城市燃气、工业燃料、化工和发电等多个行业和领域。由于天生存在或者后天开采等原因,使天然气形成了多种气体的混合物,除了主要成分甲烷外,氮气是一种常见的惰性成分,大大降低了燃烧热值,增加了运输成本,限制了应用范围,因此需要进行氮气的脱除以达到提纯甲烷的目的。变压吸附(PSA)技术能耗低、操作弹性大、投资成本低,是一种优秀的气体分离技术
学位
随着工业控制系统在工业生产中的广泛应用,工业网络所受到的安全威胁也日益增加。机器学习和深度学习技术有效地提升了入侵检测系统对工控网络中恶意攻击的检测效果,然而,入侵检测模型的训练需要大量标记数据,这些数据通常位于不同的网络中,收集和标签化的成本很高。此外,工业通讯网络中的攻击类型是动态变化的,现有入侵检测模型并不具备对未知攻击检测的能力。因此,如何解决工控流量数据不充分,以及如何训练在动态的工控通
学位
国内部分炼厂以渣油为原料,经深度催化裂化(DCC)生产丙烯、丁烷、丁烯等低碳烯烃。石油炼厂的二氧化碳排放25%来源于催化裂化过程。本文以DCC工业运行装置(年处理量为150万吨渣油)为参考,提出渣油催化裂解过程耦合二氧化碳循环利用制聚碳酸酯系统(DCC-P&CO2-PPC),以DCC裂解产品气中的丙烯及再生器产生的二氧化碳为原料,生产高附加值的聚碳酸酯(PPC)产品,并对此系统进行优化和多维度分析
学位
采空区是矿井煤自燃灾害的多发地,占火灾事故总量的60%以上。预防和治理煤自燃的关键在于自然发火位置的精准定位。同位素测氡法作为一种行之有效的火源位置探测技术,已在中国、澳大利亚的多个自燃灾害严重矿区进行了应用。由于氡气从地下深部迁移至近地表的过程十分复杂,受多种因素影响,其长距离输运机制尚无明确定论,这严重制约着同位素测氡技术的探测精度和实际应用效果。为进一步探究氡长距离迁移机制,构建完整的煤自燃
学位
煤炭作为我国重要能源之一,其安全高效开采一直以来都是煤矿行业所关注的热点。无人值守工作面自动化生产技术是高效安全开采的发展方向,然而,刮板输送机直线度控制是制约这一技术发展的瓶颈之一。刮板输送机作为综采工作面煤炭运输设备,在与采煤机、液压支架协同作业时如果无法保持直线状态,将会影响采煤机的平稳运行,减少采煤设备的使用寿命,严重时还可能会导致采煤机脱离运行轨道,发生井下安全事故。因此,研究刮板输送机
学位
多环芳烃广泛存在于重化石资源中,油类中多环芳烃的存在会导致油品的十六烷值降低,使其重质劣质化。多环芳烃的不完全燃烧及排放会造成严重的环境污染。多环芳烃的催化加氢是当今重化石资源利用的重点课题,开发高活性的催化剂是多环芳烃加氢的关键技术,负载型贵金属催化剂是工业生产中油品加氢精制的重要催化剂,并且表现出优异的催化加氢活性。本论文以γ-Al2O3为载体,使用贵金属Pd制备了一系列Pd基催化剂用于模型化
学位
在“互联网+”的时代,人工智能、物联网、5G、云计算等技术对工业的影响日益显著,这些技术极大地提高了生产效率,扩大了工业控制系统使用的创造性,但这些益处也带来了额外的网络安全风险。工控协议被广泛应用于工业控制系统组件之间的通信,其安全性关系到整个系统的安全稳定运行,从而导致对于工业网络安全评估工具的需求越来越高。模糊测试是一种可以发现网络协议安全漏洞有效方法,但若协议的规范和实现过程均不可知,则很
学位
苯乙烯作为一种常用的疏水单体,在橡胶、树脂、塑料合成等领域具有重要的作用。而我国富煤贫油的特点也使采用煤基甲苯甲醇侧链烷基化制苯乙烯意义非凡。与传统石油基苯乙烯生产工艺相比,甲苯和甲醇侧链烷基化制苯乙烯具有廉价,能耗低,副反应少(不产生二氧化碳)等优点。而高活性和稳定性催化剂的开发仍然是制约该项目工业化的瓶颈问题。本课题组前期研究发现,合适的酸碱性强度是甲苯和甲醇侧链烷基化反应的关键。为了考察催化
学位
手性分子与人类的生命和生活息息相关,高效、高选择性地合成光学纯的手性分子一直是合成化学追求的目标之一。不对称催化以其独有的手性增殖优势,成为创制手性分子最高效的策略之一。有机小分子催化的不对称反应作为一种核心的不对称催化类型,近二十年来得到了极大的发展。其中,手性磷酸作为常见的有机小分子催化剂之一,其参与的不对称反应发展迅猛,其催化的反应机理与选择性控制因素受到广泛重视;但针对手性磷酸催化分子内胺
学位
煤炭资源作为我国最重要的能源矿产资源之一,其开采量巨大,在国内能源的消费占比非常高。煤矿资源维系着国家命脉,对国民经济发展具有重大意义,煤矿生产条件和生产安全也因此成为至关重要的一环。现如今,煤矿井下的作业环境已有较大改善,但由于环境特殊,作业情况错综复杂,矿井内仍有较多的安全隐患而煤矿运输作为维系各工作单位及上下井之间联系的枢纽,矿井运输安全水平亟待提高。为了协助驾驶员安全行车,需设计一种适用于
学位