基于双通道局部熵和时间趋势的音频关注度计算方法研究

来源 :武汉轻工大学 | 被引量 : 0次 | 上传用户:ghostKill1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
音频信号作为重要的多媒体信息载体,包含着众多的信息要素,但人脑注意力资源却相对有限,人耳生理学研究表明人脑对所接受的音频信号具有关注聚焦特性,对音频信号会进行过滤并对其中的高关注区域赋予更多的注意力资源。人耳听觉关注机制包含随意和非随意两种感知过程,非随意感知基于自身先验知识会在特定场景下对特定音频信号进行有目的关注,而随意感知一般由环境直接引起,其引起感知的事件往往对于所有人具有普适性。了解人耳听觉感知机制并模拟人耳听觉系统对音频信号的整个关注过程,在目前音频关注度科研和众多音频工程运用领域具有重要的实践意义,特别是对随意听觉感知过程的模拟能够大大降低后续音频信号处理的复杂性,这对于音频监控、视频摘要和人工智能等重要音视频处理领域具有一定价值。音频关注度作为衡量人耳对音频信号的关注情况,其计算方法有自下而上和自上而下两类,自上而下方法依赖人的先验知识,而自下而上通过模拟随意感知过程进行建模,是一种快速检测方法,目前更适用于工程应用。当前主流的自下而上的关注度计算方法大都利用图像显著性相关算法对音频信号语谱图进行处理得到最终关注度值。但是音频信号和图像关注机制存在区别,图像关注是基于空间区域进行,通过对比一定范围内图像特征来模拟人类视觉系统的关注机制从而得出某个特征下关注区域,这往往忽略了音频关注事件时间维度的特性,音频信号关注在时间维度上往往具有持续性和衰减性特征,持续性特征表明人耳听觉关注往往是一个持续性的过程,同时随着时间流逝人耳的关注往往会出现衰减特性。针对上述音频关注度建模中存在问题,本文主要的工作和创新如下:(1)首先阐述人耳生理学特点及其关注机制,分析了人耳特定结构对于音频信号的预处理效果,针对预处理过程,本文利用Gammatone滤波器以及Meddis数学模型模拟人耳相关器官进行听觉外周处理。(2)听觉外周处理之后,通过图像通道和音频通道分别进行关注度值计算,得到能够反映音频关注度情况的局部熵值。双通道关注度计算模型一定程度上能够综合考虑图像和音频信号特征,能够进一步提升算法精度。(3)针对双通道熵值进行融合,最终采用时间趋势相关算法进行整个时间维度的融合,以此能够体现整个关注度在时间维度的持续性特性和衰减性特性。对于本文基于双通道局部熵和时间趋势的音频关注度计算方法的实验结果进行综合分析,实验结果表明相对于经典关注度计算模型本文所提模型一方面具有较好的关注事件检测精度,同时能够体现音频关注过程中的持续性和衰减性特征。从特征计算复杂性方面,本文基于局部熵进行建模的方法相较于多特征的关注度计算方法具有一定优势。
其他文献
并发故障普遍存在于并发程序中。并发类是并发程序开发和测试的基础。死锁是常见而不易检测的并发故障。单元测试在故障检测中发挥着重要作用。因此针对死锁故障研究并发类单
随着互联网、社交网络、自媒体的高速发展,图像数量出现了爆炸性的增长,大规模的图像数据库不断涌现,对图像检索的需求也随之提高。当前的图像检索技术大多采用基于文本的、
当前,伴随改革不断深化和社会利益格局的不断调整,社会矛盾进入多发期,基层民众维护自身权益的意识不断增强,社会矛盾呈现多样化、复杂化增长态势。作为联系群众最密切、覆盖面最广的基层党组织,了解群众诉求、维护群众正当权利和利益的任务更加繁重。党的十八大以来,以习近平同志为核心的党中央高度重视基层党组织作用,要求加强基层服务型党组织建设。基层党组织主动吸纳民意,符合国家大政方针,顺应时代发展变化趋势,可以
在20世纪90年代,为更好地解决公共问题和对公共管理的挑战,协同治理从而兴起。随着非营利组织在社会治理中的地位越来越重要,人们开始关注在慈善领域中发挥重要作用的慈善基金会。近年来,我国政府持续深化改革,管理方式不断创新,不少新的治理理念和治理方式应用到管理实践中。在慈善领域,基金会与政府的协同治理就是其重要表现,在实际工作中也取得了一定成效,但是与预期效果之间仍有较大差距。究其原因,主要是因为就是
随着宽带通信技术和网络技术的飞速发展,人们对网络及视频的需求也与日俱增,因此大量基于视频的服务和应用应运而生。IPTV作为传统电视与网络相结合的产物,近年来逐渐占有了
在当前知识经济时代,企业研究院集中知识资本、无形资本和智力资本,充分发挥其优势,为企业科技创新体系注入新的力量,并已成为价值链中将科技成果成功转化经济价值的关键一环
本文将比较沃尔玛美国和沃尔玛中国的企业社会责任问题管理,看看两者之间是否存在差异。本论文研究的目的是为了回答:1)是否沃尔玛美国和沃尔玛中国在企业社会责任问题管理方
批次过程中的扰动抑制一直是控制领域的重要研究内容,在实际工业控制过程中,受到环境、噪声等客观因素的影响,控制输出产品品质受到严重的影响。随机噪声等不确定干扰对系统
本文简要介绍了地源热泵的工作原理和基本类型;比较了地源热泵与普通空调系统的特点.得出了热泵在技术上和经济上具有明显优势的结论;介绍了地源热泵技术在工程中的应用,分析
研究借鉴国内外关于信息化教学设计的研究现状,选择以初中数学二次函数相关课程为例,开展信息化教学设计,通过在课堂教学过程中加以实施,教师与学生之较好的互动,完成对该教学设计的应用。通过深入研究初中数学信息化教学设计理论,加上全面梳理与之相关的教学理论,以这些理论为指导,进行信息化教学设计并以此来指导教学实践。研究选取某初中两个班级进行信息化教学实践,一个班级作为对照班,另外一个班作为实验班,进行二次