复杂噪声环境下基于时频掩膜的单通道语音增强

来源 :武汉大学 | 被引量 : 0次 | 上传用户:godman007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的快速发展,语音通信及语音交互广泛地运用于手机平板、智能家居、智能车载等领域。然而语音不可避免地被环境噪声污染,不同场景中高质量的语音通信、高效率的人机交互性能等应用需求的驱使,使得语音增强研究迎来了新的机遇和挑战。大多数单通道语音增强算法在高信噪比、平稳噪声情况下具有良好效果,但是在低信噪比、非平稳噪声的复杂环境下,其增强性能明显下降。针对低信噪比、实际非平稳噪声干扰下的语音增强难题,本文通过两种不同的基于时频掩膜的方法达到增强目的,主要工作及贡献如下:(1)提出了基于时变滤波的时频掩膜估计语音增强方法。受启发于鲁棒时变滤波在低信噪比环境下对非平稳信号滤波与干扰抑制的有效性,将其运用于语音增强。首先在带噪语音的时频域中结合语音特性与图像处理方法估计出初始瞬时频率信息;基于瞬时频率值,接下来利用鲁棒时变滤波重构降噪后的信号;最后依据重构语音的时频特征预测二元时频掩码,并将该掩膜与带噪语音谱相乘估计出干净语音谱,实现语音增强。实验结果表明,所提方法相较于多带谱减、最小均方误差短时谱估计等经典方法能更好地抑制噪声、提升语音质量,且在低信噪比(低至0d B)环境下更具优势。(2)提出了基于复比例掩膜的音视频语音增强方法。复比例掩膜增加了相位谱估计,能够提升语音质量。并且,在复杂噪声环境下,视频信息可以有效辅助区分语音段与非语音段,提高增强性能。基于音视频双模态作为网络输入以及复比例掩膜作为网络预测目标的优势,设计了一种融合相位谱估计的音视频语音增强网络,包括音频编码、视频编码、特征融合、音频解码四个部分。针对视频特征与音频特征融合比例问题,在特征融合模块中加入注意力机制,利用音视频相关性为视频特征分配合适的权重,实现视频信息的有效融合。另外,在编码-解码网络之间引入残差结构,减少由于多层卷积层叠加导致的语音低层细节信息丢失,并且提升网络性能。实验结果表明,所提方法在-5d B至5d B的低信噪比环境下对多种类型实际非平稳噪声的抑制具有优势,能有效地提升语音质量与可懂度。
其他文献
既有建筑绿色改造是实现建筑业可持续发展的必经之路。在改造前对改造方案进行绿色评价,是保障改造方案合理性,进而有效改善既有建筑环境、协调建筑节能性和舒适性的重要手段。然而由于目前既有建筑绿色改造评价体系存在评价信息来源分散、标准化程度低等问题,评价工作往往需要耗费大量的人力、物力和财力,且存在工作效率不高、评价结果不精确等问题,这给既有建筑绿色改造评价的普及以及绿色改造工作的深入推广带来了阻碍。构建
随着经济社会的不断发展,更好的经济效益,更大的经济规模,更加合理高效的运营管理,成为企业不断追求的方向和目标,而实现目标的必然途径是对企业管理模式的进一步优化和完善,而标准化建设就是规范企业管理,优化管理方式和模式的有效手段。本文结合国内外相关文献和企业运营管理实际,以现代化电力企业行政督查督办业务和标准化建设的概念、特点、原理及现状为理论基础,选取C供电公司行政督查督办管理业务进行分析,从标准化
膨胀土作为一种特殊的黏性土,具有许多不同于一般黏土的性质。一般黏土膨胀性较小,工程中忽略其不同饱和度状态下的体积变化是可行的,然而,当含水量变化时,膨胀土容易膨胀和收缩,这对轻型建筑物、路基、机场、航道斜坡和水坝将造成严重破坏。因此,研究不同饱和条件下膨胀土的体积与土水特性是十分必要的。本文以南水北调中线邯郸强膨胀土和黑龙江省季节性冻土区中膨胀土为研究对象,通过膨胀力、自然膨胀力和自然膨胀率试验,
近几十年来,许多流域自然的水循环过程遭到气候变化和人类活动的破坏,水文序列呈现出变异的特性或规律,无法满足传统洪水频率分析方法对样本一致性的要求。水文序列的非一致性是由水文年际变异或(和)年内变异引起的,反映出水文序列在年际/年内范围内发生了显著变化。从水文序列的组成来看,非一致性水文序列含有趋势、跳跃、周期、相依变异成分中的一种或几种,导致水文序列呈现出年际的变异特性。同时,水文序列年内的产生机
目的:探究东南亚四个国家的新冠肺炎防控策略和成效,分析影响疫情防控效果的相关因素,总结成功经验和不足,以期为全球和我国应对新冠肺炎疫情和其他突发公共卫生事件提供参考。方法:基于地理位置、经济发展水平和外交关系,从东南亚选取4个国家:新加坡、泰国、越南、菲律宾为研究对象。从文献数据库,政府官网、新闻网站和其他数据库获取相关文献、政策文件和数据资料,采用比较分析法,比较东南亚四个国家卫生现况和新冠肺炎
超高性能混凝土(Ultra-High Performance Concrete,以下简称UHPC)作为一种具有超高强、高韧性以及优异耐久性的新型水泥基复合材料,自问世以来就受到国内外土木工程界的高度关注,是21世纪新型混凝土材料的发展方向。已有研究表明,在UHPC中掺入适当类型及比例的粗骨料,能有效减少UHPC在制备过程中的胶凝材料用量,降低UHPC的自收缩率,改善UHPC的力学性能并提高其工作效
如今,虽然分析仪器在很多方面都取得了重大进展,但是在很多情况下,样品前处理依然是追求最佳分析方法的瓶颈,特别是在复杂样品基质中痕量分析物的测定时。由于原始样品本身基质复杂或目标分析物含量太低,直接将样品进入仪器中,复杂的基体成分不仅会干扰样品分析,还会影响仪器的使用寿命。因此在仪器分析前对样品进行处理,以减少基质干扰、富集痕量分析物,并将样品转化成与仪器兼容的形式至关重要。完整的样品制备步骤通常包
在自然因素和人类活动的共同作用下,黄河下游河道及黄河口尾闾河道始终处于河床形态不断调整的状态,其中游荡段河势变化剧烈,河床演变最为严重。研究黄河下游河道及黄河口尾闾河道河床演变特点,建立游荡段床面下切及横向展宽的经验公式,并建立模拟游荡段河床演变的纵向及横向变形模型,不仅有利于掌握该河道河床演变规律,同时也能为该河道未来整治及规划等提供相关参数。本文采用实测资料与遥感影像资料相结合的方法,分析了黄
惯性-地磁组合测量单元因其具有体积小、费用低和功耗少等优点被广泛应用于医疗康复、体育运动、虚拟现实和医疗器械跟踪领域等。惯性-地磁组合测量单元由MEMS传感器组成,主要包括硬件和软件两部分,硬件包含加速度计、陀螺仪和磁强计,软件为数据融合算法(也称为姿态测量算法),硬件测量得到的数据通过数据融合算法得到运动体姿态。本文对基于惯性-地磁组合的运动体姿态测量算法展开研究,主要进行了如下工作:首先,基于
随着滑板在炼钢工艺中的作用和地位不断提高,滑板的加工制造工艺也在不断改善,为降低生产成本和能耗,减少环境污染,不用高温烧成、不用焦油浸泡、采用低温处理是滑板的发展研究方向。Al2O3-C不烧滑板具有能耗低、成本低、生产周期短、绿色环保等优点,作为连铸控流功能耐火材料应用广泛。但其在使用过程中存在扩孔、易剥落、开裂等问题,力学性能和抗热震性有待进一步提高。目前关于Al2O3-C不烧滑板的高温性能研究