语音增强深度神经网络模型压缩方法研究

来源 :西南科技大学 | 被引量 : 0次 | 上传用户:haizibooks
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语音增强技术致力于消除复杂声学环境中的噪声干扰,提高语音信号质量。深度神经网络基于其优异的非线性建模能力,利用大规模数据驱动的方式在语音增强中展现出卓越的性能。通常模型存在规模大、计算复杂度高等问题,难以部署在资源受限的嵌入式设备中。同时,大规模数据的构建存在数据隐私保护和标签缺失问题,限制了模型的训练和应用。因此如何在保护数据安全的前提下,以无监督方式训练出一个具有多种噪声抑制能力的轻量型语音增强模型具有重要意义。本文的具体研究内容如下:(1)针对隐私保护条约限制不同噪声场景下语音数据统一的问题和公共数据集的标签缺失问题,本文结合联邦学习和知识蒸馏,提出了一种多教师知识蒸馏方法,将多教师模型的知识迁移到学生模型,实现能够抑制多种噪声的增强模型。首先利用公共数据集分别构建不同噪声条件下的源域语音数据集,以及含多种噪声的目标域噪声数据集;然后通过不同的源域数据集预训练不同噪声条件下的教师模型,实验结果表明教师模型在训练过的噪声条件下的增强性能较强,当输入信噪比(SNR,Signal to Noise Ratio)为5d B的含不同噪声语音时,对应的教师模型增强后的语音质量感知评价(PESQ,Perceptual Evaluation of Speech Quality)得分平均提高了1.67;最后构建多教师知识蒸馏框架,将教师模型视为黑盒以保护源域的数据隐私安全,利用学生模型与多个教师模型之间的信息交互,缓解单个教师模型在指导学生训练时可能产生增强不足或增强过度的问题,实验结果表明学生模型学到了多个教师模型对不同噪声的增强性能,与随机蒸馏相比,所提出的两教师和三教师知识蒸馏的PESQ得分均有大幅提高。(2)针对教师模型网络规模大、计算复杂的问题,本文分析优化教师模型的网络结构进行结构精简,得到性能优越且网络规模较小的学生模型,并进行参数量化在进一步减小模型的尺寸。首先,优化教师网络结构并且分析教师网络的内部结构对模型规模的影响,设置不同结构参数进行大量实验和结果分析,权衡模型的尺寸和性能,实验结果表明与教师模型相比,虽然轻量化后的模型PESQ平均得分降低了约0.06,但是模型的参数量减少了50.00%,计算量减少了约54.76%;然后将得到的轻量化模型作为学生模型进行多教师知识蒸馏实验,最后对得到的轻量化的学生模型采用参数量化方式降低模型的存储空间以及推理速度,实验结果表明量化后的模型在测试集上的性能和学生模型相当,量化后的模型性能仅下降了约0.02,但是模型的计算量减少了约7.54%,推理时间减少了约15.18%。
其他文献
【目的/意义】大数据技术的发展与应用使大数据治理成为学术界的研究热点。可视化图谱能够直观地揭示该领域的研究概况与趋势。【方法/过程】运用文献计量信息可视化软件CiteSpace,以CNKI数据库中CSSCI期刊收录的大数据治理研究相关文献为数据来源,对该领域研究成果的总体概况、研究机构、期刊来源等进行特征分析,并绘制关键词共现图谱、聚类图谱和突变词信息表,分析了关键词的特点与发展趋势。【结果/结论
期刊
针对当前试验数据普遍存在标准不一、质量不高、缺乏统一视图等问题,在分析试验数据特点的基础上,提出构建试验数据治理平台,介绍试验数据治理平台的总体架构及其模块功能,并提出了试验数据的数据治理实施方法。
期刊
<正>2023年上半年全球经济呈现较强韧性,国际货币基金组织(IMF)将2023年全球经济增长预期由4月的2.8%上调至3.0%。俄乌冲突影响的逐步消退、主要发达经济体劳动力市场升温加上疫情期间的财政扩张降低居民偿债压力并带来超额储蓄,是全球经济表现好于预期的主要原因。然而,全球通胀压力并未显著回落,核心通胀粘性依然较强,发达经济体央行仍将继续收紧货币政策,货币紧缩对需求的冲击仍将进一步显现。而随
期刊
《朝花夕拾》是第四学段首次整本书阅读教学任务。教师需要通盘解读书中蕴含的审美要素,确定教学内容,初步形成整本书阅读项目的开展范式。作为文学文本,本书的童年记忆书写,为读者提供了诸多审美视角与内容;作为教学文本,本书为学生营造了叙事视角转换、教育成长叙事、社会时事变动三个阅读空间。学生可跟随教师给出的多维度审美路径,开启个性化的主题读写项目之旅。
期刊
以白银有色集团股份有限公司铜业公司制氧车间空分系统循环水为分析对象,对补充水、循环水、挂片试验进行分析,从而判断空分循环水系统为严重结垢型水质,进一步从PH、水温、电导度、水的流速及溶解氧对腐蚀的影响和循环水水量平衡计算来分析浓缩倍数及各循环水参数。添加PF-305阻垢缓蚀剂对本公司空分循环水系统的应用。
期刊
为了完善与扩展数字化的政务服务和政务治理体系理论,以政务数据治理理论为基础,以数字政府中的数据共享与数字服务,特别是跨源多维政务数据为研究对象,构建电子政务数据共享与服务创新的理论和方法,提出一种基于区块链的跨源多维政务数据治理模型。该模型从政务数据结构、服务制度、应用模式3个方面融合架构,结合区块链技术,以数字政府的服务创新为目标,实现了数字经济下的跨源多维政务业务数据治理。同时为了解决跨源多维
期刊
<正> 包虫病广泛流行于我国西北各省。目前在其临床诊断及流行病学调查中,急需准确而快速的诊断方法。化学交联的胶乳试剂是国内近年来迅速发展起来的一种免疫诊断试剂。试剂稳定、操作简单、快速、结果准确,又不需要仪器设备。因此在临床实验室中的许多领域已经得到广泛应用并显示出明显的优越性。为了寻求人体包虫病诊断的有
期刊
<正>一、概述1.测量依据JJF1059.1-2012《测量不确定度评定与表示》、JJF1164-2011《台式气相色谱-质谱联用仪校准规范》。2.环境条件温度:15℃~27℃;湿度:≤75%RH。3.测量标准异辛烷中八氟萘溶液标准物质(100pg/μL,Urel=2%,k=2)。4.测量对象气相色谱-质谱联用仪(型号:7890A/5975C;编号:1306/25009;EI(电子轰击)源)。
期刊
期刊
目的:制备、提取、纯化肝包虫重组表面抗体EPC1,然后将EPC1与超顺磁性氧化铁纳米颗粒(super paramagnetic iron oxides nanoparticles,SPION)相偶联,得到SPION-EPC1复合体示踪剂、与异硫氰酸荧光素(fluorecein isothiocyante,FITC)相偶联,得到FITC-EPC1复合体示踪剂。对偶联合成的两种复合体示踪剂进行表征研究
学位