论文部分内容阅读
音乐是音频的重要组成部分,它包含了丰富的语义信息。音乐结构是音乐的主要表现形式之一,它是理解音乐的重要途径。与音乐分析与检索相关的研究大部分都是基于结构化信息如音乐标签、MIDI格式、乐谱等,针对实际音乐内容的分析与检索的研究是最近三四年才出现的。本文针对实际音乐,从一个新的领域——音乐结构分析入手,对比分析以往研究的优点与不足,改进和设计一系列的新算法实现了音乐结构自动分析和标注,并以此为基础进一步研究了基于音乐结构的音乐检索和文摘。首先通过分析音乐的表达方式提取了PCP特征,这是一种基于帧的特征,它较好的结合了声学层的频率和音乐语义层的十二平均律信息。用这个特征和余弦距离来表达音乐片段之间的相似度。然后设计了一组源于编辑距离和动态规划思想的音乐结构分析算法,首先将特征向量分组,然后经过组相似匹配、组重现检测、重现组归并和自动标注四个前后衔接的环节实现了音乐结构的自动标注,较好地实现了将音频形式的音乐自动标注为表示音乐结构的三元组列表形式,由于这是一个新的领域,目前还没有比较好的量化评价方法,本文提出一种新的评价方法,并用它来评价结构分析的结果,取得了较好的效果。受到结构评价方法启发,本文又提出了基于结构分析的音乐检索的方法,初步探讨了利用音乐结构信息建立检索系统这一新方法的前景。初步实验结果显示这种方法是很有前途的,它可以直接检索音频形式的音乐,按照结构相似程度给出最后结果并排序输出,这在音乐检索和智能播放列表的生成方面都有广泛的应用。最后利用结构分析的结果在音乐文摘方面做了初步的尝试,目标是检出音乐作品的高潮部分,取得了76.67%准确率,这也是音乐结构分析的一个重要应用。为了研究工作的展开和成果的实用化,我们还开发了一个音频分析平台。这是一个基于DirectShow的通用音视频格式解码系统,同时还具有音频分类和实时波形显示的功能,为算法实验和理论研究提供了实验平台。