基于U-Net模型的单声道唱声分离研究

来源 :新疆大学 | 被引量 : 0次 | 上传用户:tting0226
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技进步与多媒体技术的发展,人类对于音乐的追求越来越高。而单声道唱声分离技术作为音乐处理的前端模块,是实现基频估计、歌词识别、歌词同步、歌手识别、音乐检索以及卡拉OK等应用系统的基础。近年来单声道唱声分离取得了重要的发展,主流的分离方法包括传统机器学习方法和基于神经网络的深度学习方法。本文研究了两种基于U-Net结构的深度学习方法:基于嵌套U-Net和时频掩蔽的单声道唱声分离模型以及基于门控嵌套U-Net的端到端单声道唱声分离模型。具体内容如下:本文根据U-Net网络结构、时频掩蔽处理方法以及区分性训练(Discriminative Training)在唱声分离领域中的优势。研究了基于嵌套U-Net与时频掩蔽的单声道唱声分离模型。该模型将二维频谱信息作为特征,通过嵌套U-Net中重构跳跃连接(Skip Connection)结构,减少了编码与解码器(Encoder-Decoder)子网络之间频谱特征的语义差异,简化优化器所解决的优化问题。并通过区分性训练联合不但可以同时估计两个源信号、还能优化一个软时频掩蔽函数来进一步增强分离效果。实验结果表明本文研究的基于嵌套U-Net与时频掩蔽的单声道唱声分离模型相较于Chimera分离模型以及U-Net分离模型在i Kala与MIR-1K数据库取得更好的分离效果。本文在基于嵌套U-Net与时频掩蔽的单声道唱声分离模型的基础上,研究了基于门控嵌套U-Net的端到端单声道唱声分离模型。该模型将一维时域波形作为输入,不但避免了短时傅里叶变换得到二维时域频谱信息依赖许多参数带来的计算,还避免了相位带来的信息丢失。并通过门控线性单元(Gated Linear Units)引入门控机制控制卷积神经网络的输出。将编码与解码过程中通道更迭方式由幂次更迭的方式改为线性更迭,大幅度减小参数量,实验证明没有影响测试结果。通过差异输出层(Difference Output Layer)共同优化网络模型,同时分离输出的唱声与伴奏信号。实验结果表明本文研究的基于门控嵌套U-Net的端到端单声道唱声分离模型相较于基于嵌套U-Net和时频掩蔽的单声道唱声分离模型在i Kala与MIR-1K数据库取得较好的效果。并且在i Kala数据库中的结果已经接近理想二值掩蔽(Ideal binary mask,IBM)。
其他文献
围产期是奶牛泌乳周期中的特殊生理时期,奶牛经历生理变化和日粮转换等应激,机体代谢更为复杂,但干物质采食量急剧下降,营养摄入严重不足,处于能量负平衡状态,能量代谢障碍性
目前,以小型便携式电子消费设备为主流的微电子行业发展迅速,微电子技术的应用使得高性能芯片的功率密度大大提高,与此同时,电子设备持续小型化和对高端性能的需求也导致芯片的热流密度急剧增加。而离子风散热技术作为一种新型的空气冷却方式,大有取代传统风扇冷却技术的潜力。为提高离子风的散热性能,本文以电极翅化式离子风散热系统为研究对象,基于实验测量与有限元法数值模拟相结合的研究方案,探究其电学性能、流动机理及
全球能源供应和环境污染问题是当今伴随社会和经济快速发展的两个重大挑战。近年来,半导体光催化技术因其特有的优势,引起了广泛的研究。钙钛矿型钛酸盐(ATi O_3,A=Ca,Sr,Ba)具有优良的光催化性能,在环保、能源等方面的应用广泛。但钛酸盐的带隙较宽,使其仅在紫外区域能进行光催化反应。尽管通过金属/非金属离子掺杂、形成异质结或表面氧空位等方法可以改善钙钛矿型钛酸盐光催化活性,但这些方法普遍的缺点
目的:了解通过正畸正颌联合治疗的骨性Ⅲ类错畸形患者面部软组织的变化特点并对软组织的预测提供指导和帮助。方法:选取2016-2019年于南京医科大学附属口腔医院正畸科就诊的14例骨性Ⅲ类错畸形患者,使用3dMD软件分别于正畸正颌联合治疗前后拍摄患者面部软组织的图像,并通过自带的3dMD vultus软件对图像进行三维重建。然后选取18个有代表性的面部软组织三维标志点,对14个测量项目进行软组织线距、
气顶边水油藏是一种较为复杂的油气藏类型。由于其独特的流体组合,在开采过程中,如果气顶与边水能量动用不均衡,油井会过早出现气窜或水淹现象,并且不同水体能量及生产参数搭
高中思想政治新课程标准是对学科素养的凝练,其内涵包括政治认同、科学精神、法治意识和公共参与四个内容,“政治认同”是首要条件。这一素养的培育适应了时代发展要求,将引导中学生树立正确的世界观、人生观与价值观。为社会的稳定和民族团结奠定重要的思想基础,为了分析当前高中思想政治课培养学生政治认同的状况,本文应用课例分析的方法,围绕“教学目标如何与政治认同素养的要求紧密结合起来”“教学活动方式如何落实政治认
土壤水分不仅是农作物、林草等植物耗水的主要来源,也是土壤系统养分循环和流动的重要载体,对土壤的特性、作物的生长、分布以及生态系统小气候的变化具有重要影响。甘蔗在我
油田大规模实施提高采收率技术之前,需要对各个油藏进行提高采收率潜力评价,以指导各油田提高采收率技术的重点方向。由于每个油田包括成百上千个不同油藏,要完成如此巨大工
布雷顿森林体系的建立,确立了美元作为唯一的与黄金等值的国际储备货币的地位,美国因此成为世界经济的主宰者。金汇兑本位制的内在不一致促使美国以美元为工具掠夺全球财富,这不仅改变了美国国内经济选择行为及经济运行方式,也改变了全球经济格局及经济运行态势。如果说,布雷顿森林体系是美国有约束的掠夺全球资源的国际货币制度安排,那么,布雷顿森林体系崩溃后以美元为中心的信用货币制度安排,则彻底放松了对美元的限制,一
伴随着近年来香港内地合拍片的逐渐成熟和内地电影市场的日益壮大,“北上”成为香港电影人寻求突破和发展的主要途径之一。然而实践证明,内地的市场和观众并不是对所有香港电影人的作品都兼容并蓄,香港电影为了适应新的文化环境和内地观众的审美角度,必须作出一定的调整和改变,在经历了多次失败的尝试之后,部分香港电影人成功地走进内地的电影市场,被内地观众熟知和喜爱。彭浩翔就是众多成功案例之一。作为一个年轻的导演,彭