随着互联网络的发展，人们越来越依赖于从互联网络获得知识和信息，这些信息包括文本、音频、视频等丰富的多媒体形式。其中，音频资源作为一种容易被用户接受的信息载体，在互联网络上越来越重要和普遍。音频资源已经成为数字图书馆的重要组成，文本和音频相结合的“听书馆”成为一种新兴的网络服务。但这些组织形式对音频资源的检索是基于文件名或者标签的，而非深入到音频的内容。在这些组织形式中，资源之间是独立的，无法关联阅读。并且他们对用户封闭，普通用户无法方便地提交资源和对内容的反馈。用户在检索某方面知识时，希望能同时获得该主题下的文本、图片和语音资源，并且能对检索结果进行反馈和扩充。 本课题在研究和比较该领域现有的软件平台的前提下，融和实验室在语音关键词识别领域的成果和数字图书馆相关技术，研制一个新的基于音频检索的多元素开放式听书馆系统，该系统能有效检索文本和音频信息，支持信息之间的关联检索，并且该系统对用户是开放的，用户可以修订检索结果，添加资源和索引。本课题针对中国历史文化信息领域实现了LibSonar系统，提供了查询中华历史相关信息和音频资源的服务。 本论文的主要工作在于： 第一、提出了一个新型听书馆系统的构架并描述了它的运作机制。 第二、语音关键词识别技术在听书馆系统中的应用。 第三、将倒排索引技术运用于关联索引和音频关键词索引。 第四、实现了一个针对中华五千年历史信息检索的演示系统。