基于注意力机制的声学事件检测方法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:hjkl123lkjh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
声学事件检测(Acoustic Event Detection,AED)广泛应用在机器的环境感知、多媒体信息检索等领域,是促进社会智能化发展的重要技术手段,具有重要的研究意义和实际应用价值。传统的声学事件检测方法主要基于传统机器学习算法,需要人工完成复杂的特征工程。此外,目前已知的声学事件检测数据集仍存在数据量不足,事件类别不平衡的问题,基于深度学习的声学事件检测方法仍旧没有达到理想的检测性能。本文针对上述的问题,首先提出空间-通道(spatial-channel)注意力机制,并结合相应的卷积神经网络(Convolutional Neural Network,CNN)来提取和声学事件更加有关的高层抽象特征,再结合循环神经网络(Recurrent Neural Network,RNN)构建最终的声学事件检测模型,完成最终的声学事件检测任务。针对声学事件检测任务和不同卷积神经网络的特点,本文选择对残差网络(Res Net)和密集卷积网络(Dense Net)模型以及牛津大学计算机视觉组提出的卷积网络(VGGNet)结合空间-通道注意力机制提出基于Att VGGNet-RNN、Att Res Net-RNN以及Att Dense Net-RNN检测模型的声学事件检测方法。实验结果表明,相比其他未结合空间-通道注意力机制的检测模型的检测方法,基于Att VGGNet-RNN、Att ResNet-RNN以及Att Dense Net-RNN检测模型的声学事件检测方法检测性能更优,其中基于Att Dense Net-RNN检测模型的声学事件检测方法检测性能最优。这也验证了本文提出的空间-通道注意力机制能够有效地提升声学事件检测性能。由于音频数据中同一时间上存在声学事件的重叠,采用胶囊网络(Capsule Network,Caps Net)完成声学事件检测,通过其路由机制让模型预测声学事件的存在与否,自发投票,能够更加有效地检测出事件的重叠。在此基础上,为了进一步提高声学事件检测性能,本文提出基于注意力胶囊网络的声学事件检测方法,将胶囊网络和注意力机制相结合提出Att Cpas Net模型,并在其后添加RNN构建Att Caps Net-RNN声学事件检测模型,完成最终的声学事件检测任务。与基于Att VGGNet-RNN、Att Res Net-RNN以及Att Dense Net-RNN检测模型的声学事件检测方法相比,基于Att Caps Net-RNN检测模型的声学事件检测方法取得了更优的检测性能,验证了基于注意力胶囊网络的声学事件检测方法能够有效地提升声学事件检测性能。
其他文献
高精度定位技术不仅在军事领域发挥着重要作用,在生产生活中也是不可或缺的,目前已广泛应用于交通导航、智能驾驶、跟踪监控、周边服务获取与推送等场景。据统计人们有四分之三以上的时间都是处于室内环境中,但是由于室内环境中墙体林立、障碍物众多,无线电信号存在多径效应,导致测量值中含有非视距(None-line-of-sight,NLOS)误差,从而严重地影响了定位的精度,难以满足室内高精度定位需求。NLOS
村民自治,就是让广大村民自主治理自己的村庄,是我国基层民主的一种形式。村民自治主要有“民主选举、民主管理、民主决策、民主监督”这四方面的内容,其中民主选举是最基础又很重要的一项内容。从1988年开始,村民自治制度开始在我国的广大农村推行,民主选举作为其中的一项重要内容,也经历了三十多年的发展,民主选举制度的实施为我国的基层民主政治和农村的发展提供了很大的便利,但在这么多年的实施过程中也暴露出了很多
在社会经济持续发展的背景之下,人们日常生活水平得到了有效提升,这也进一步提高了人们对城市居住环境的要求。作为现代化城市建设中关键组成部分,景观园林工程获得了高度的重视,为了在根本上提升景观园林规划设计的整体质量与水平,需在现有的基础之上加快对景观园林规划设计方式的转变,并结合城市和人们的具体需求循序渐进对景观园林规划设计进行有针对性的创新,只有这样才能提升景观园林规划设计的效果,从而为推动景观园林
根据2015年国务院政府报告,所有市场参与者必须首先加大其普惠金融发展力度,才能共享金融服务。2019年的中国普惠金融发展报告指出,普惠金融重点领域供给持续增加,小微企业金融服务增量、扩面、降本、控险平衡发展,金融支持乡村振兴力度不断加大,金融脱贫攻坚精准发力,各项服务可得性进一步提升。小微企业对活跃市场经济及革新市场体系有很大程度的影响,不仅助力经济增长,还能一定程度盘活市场就业局面、创造全新的
随着复合材料的快速发展,各国逐渐意识到将复合材料应用于船舶装备制造中的诸多益处。板和加筋板作为舰船的基础结构单元具有十分重要的研究意义,在日常工作中,由板或加筋板构成的船体板架结构不单受到船上动力装置如发动机等运转产生的振动荷载的作用,同时还随时可能受到鱼雷等武器爆炸产生的冲击波载荷的威胁。两种不同的载荷分别考核了结构的振动响应特性以及抗冲击响应特性。对结构同时进行振动及抗冲击特性分析,并根据这两
铁路的安全稳定对我国经济的发展起着重要的作用,由钢轨缺陷导致的交通事故对生命安全和社会财产造成了极为严重的后果。因此研究准确且高效的钢轨表面缺陷检测技术,在事故发生之前检测出缺陷并及时进行维修,具有重要的现实意义。利用图像处理技术进行钢轨表面缺陷检测的方法,具有准确率高、非接触性等优点,成为当今钢轨表面缺陷检测方面的一种重要方法。本文在综合考虑检测准确率和分类速度的基础上,解决现有钢轨表面缺陷检测
新时期以来,随着经济社会全面快速发展,各种新兴违法犯罪和社会治安管理问题层出不穷,公安机关面临的维护国家政治安全和社会治安大局持续稳定的任务日益繁重,警务人员长期处在高强度、高压力的工作状态下,疲惫不堪。加之在服务型政府的构建过程中,民众对公安工作提出了新的更高的要求,公安机关要想做好新时期维护国家安全、确保社会稳定、服务人民群众各项工作,必须进一步提升队伍综合素质,最大程度的发挥现有警务人员的工
振动能量在机械结构中多是以弹性波的形式存在,并且存在低频、宽带等特点。针对上述特点,本文设计了一种压电超材料结构对宽带低频的振动能量进行收集,通过研究压电装置的输出开路电压、输出功率等参数来分析其能量收集能力,并探究其在实际工程应用中的可能性。本文的主要研究工作如下:分析了压电超材料能量收集装置的工作原理并对能量收集装置的结构进行设计,建立了压电超材料结构内弹性波传播的模型,针对这一模型,基于Ra
近年来,随着社交网络服务平台的日益增加,用户可以选择性地同时参与多个社交网络并享受其中的服务,社交网络的应用服务类型众多,例如朋友推荐。为了更好地实现服务,需要建立不同社交网络中的虚拟用户与现实世界中用户的映射关系,即用户锚链接预测问题。由于用户特征属性的提取质量会影响锚链接预测的效果,因此本文为了更好地解决锚链接预测问题,对嵌入算法进行研究,并提出面向稀疏图的Deep Walk嵌入算法和基于增量
随着社会的发展,电能应用越来越广泛,为了确保变电站的安全运行,必须对变电站里面的设备及时检查,但是变电站工作条件恶劣且对人身安全有威胁,开发变电站巡检机器人来代替人类从事变电站巡检工作一直是国内外的热门研究课题。本课题来自哈尔滨工程大学机电工程学院发展基金,目的在于研制一款能够检测变电站内部设备上的仪器仪表、进行应急操作的巡检机器人。本文的主要研究内容如下:首先阐述了国内外变电站专用机器人的研究现