基于知识蒸馏的文本无关说话人确认研究

来源 :辽宁工程技术大学 | 被引量 : 0次 | 上传用户:beefshen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本无关说话人确认技术通过复杂的网络结构来提升模型性能,然而这会产生巨大的内存消耗和递增的计算成本,使得说话人确认模型难以部署在轻量级设备上。针对这一问题,设计一种嵌入级知识蒸馏的教师学生网络框架来构建模型复杂度较小的学生模型。首先,采用多层次组合连接的时延神经网络,改善说话人向量的表示能力。其次,用附加角裕度损失函数(Additive Angular Margin loss function,AAM-Softmax)代替传统的Softmax损失函数,改善在模型训练过程中说话人向量的类内分辨性,降低参数计算复杂度和收敛难度。再次,建立float16浮点数的权重数值,并结合混合精度训练方法,在改善数值精度损失带来的性能损失的同时降低模型训练所需空间。最后,利用教师模型指导学生模型,缩小学生模型和教师模型之间的性能差距,使得说话人向量的提取模型能适应存储或者计算资源有限的设备。在Vox Celeb1数据集上的实验结果表明,设计的学生模型在实现等错误率(Equal Error Rate,ERR)降低到4.59%时,参数量仅为1.30M。与现有模型相比,提出的学生模型在牺牲小部分模型识别准确率的情况下,大幅压缩了模型参数,为将文本无关说话人确认模型部署在存储空间或计算资源有限的设备上提供了可能。该论文有图20幅,表6个,参考文献55篇。
其他文献
职业教育承担着培养高素质技术技能人才的重要职责。如何保障教学质量,进而保障高职院校人才培养质量,是高职院校需要优先解决的问题。广东职业技术学院经过多年的实践和探索,构建了“以学生为中心,以质量为根本,‘一化二级三全’教学质量保障体系”。该体系重在加强教学质量保障工作信息化建设、校院两级联动、全员全方位全过程管理,具有较强的借鉴意义。
期刊
伴随我国经济的飞速发展,人民群众的富裕水平提升,群众对于财产管理的需要也从简单的财富商品1.0时期转变为全面财富管理的2.0时期,并且正朝着更高一级的财富管理3.0时期迈进。在3.0时期,银行财富工作的内容将不会是单一的理财产品售卖,相同质量比较价格,而会是财富管理的总体过程,打造所提供服务的全面化、综合化与个性化,同样在变化的,还有我国金融变革的持续推动:随着利率市场化变革的持续深化,给银行的科
学位
针对残差网络处理图像分类任务时提取特征不充分以及不能精确区分特征贡献度的问题,提出了一种基于张量合成注意力的Res Net图像分类模型。首先,采用残差网络Res Net-101作为模型骨干网络,通过卷积层来提取图像特征信息,并在残差网络卷积结构后嵌入张量合成注意力模块,对获取到的特征进行三张量积计算,得到注意力特征矩阵;然后,使用softmax函数对矩阵进行归一化,并为特征信息分配权重,进而区分特
学位
2021年实施的“双减”政策将“提高教师课堂教学质量”作为“减负”“提质”的核心任务和衡量教育质量的根本标准。因此,有必要通过提高思想认识、探索可行的质量监控方法、构建全流程质量监控体系和有效的质量反馈机制等路径,为提高课堂教学质量监测水平提供技术性支持,提出科学决策方案和行之有效的方法,从而让教学质量监控更好地支撑“双减”,更好地促进教学。
期刊
目的:探究膝关节退行性病变老年病人的骨科护理的方式以及效果。方法:以随机数表分组法将我院接收的121例老年膝关节退行性病变患者分成常规护理组(n=60例)和个性化护理组(n=61例),并对两组患者护理后疼痛问题的改善效果进行分析。结果:个性化护理组护理后VAS疼痛评分(2.23±0.69)分显著低于常规护理组护理后VAS疼痛评分(4.34±1.01)分(P<0.05)。结论:对老年膝关节退行性病变
期刊
报纸
车联网作为开放的无线自组织网络应用于智慧城市中的交通领域,能够实现车辆、道路与智能终端等多方交互,为车辆用户提供实时路况资讯,从而减少交通堵塞与事故的发生。由于车联网自身的开放性和敏感性,网络中传输的消息很容易被窃取和篡改。目前,在车联网中安全通信一般是通过认证机制保证的,但在认证过程中存在用户隐私泄露的风险。针对该问题,本文提出了一个基于离散对数的无证书聚合签密(CLASC-DL)算法,并将其应
学位
中国作为世界第一大汽车市场,吸引了众多汽车零部件厂商不断加大在国内的投资。当下的汽车行业也正面临着以新四化为代表的产业变革的冲击,与此同时新生代的消费者具有越来越多的易变性、不确定性、模糊性和复杂性不断考验着企业,竞争也越来越激烈。在这过程中,不断提高客户满意度一直是各大公司所积极倡导经营的理念,因此各家汽车零部件厂商不得不在自身企业所面临的实际问题,比如包含研发工程变更管理相关的内容做进一步改进
学位
细粒度图像分类过程中局部区域特征极易被周围背景噪声影响,分类网络偏向关注全局语义特征而忽略掉其它局部判别性特征信息以及孤立对待各个局部特征,这些因素给细粒度图像分类算法性能提升带来很大挑战。为了解决上述问题,提出了结合前景特征放大和多样性特征的细粒度图像分类模型。首先,为了消除背景噪音对特征提取的影响,设计前景特征放大模块,从全局空间感知每个像素点的相关性,保证类内一致性,提高网络预测前景目标的边
学位
层次图是一种将顶点分配到不同层级进行表示的图形,在软件工程、生物信息学、超大规模集成电路设计等领域有着广泛的应用。多层边缘交叉最小化是层次图自动化绘制任务中最核心的问题之一,直接影响着图的可读性,然而该问题本质上是一种组合优化问题,并已被证明是NP-hard的,目前针对该问题的主流优化算法在求解精度和求解速度方面仍有待改进。针对上述问题,提出一种改进的离散差分进化算法用于层次图边缘交叉最小化问题的
学位