语音检索是多媒体信息检索的重要研究方向,基于大词汇连续语音识别的检索算法是当前语音检索中的主流算法。集外词是一些经常被用户检索但是不在识别词典中的词,相比于集内词检索,集外词检索性能严重下降是语音检索面临的一个主要挑战。集外词检索的主要难点有：发音不确定性,词性质的多样性,声学模型和语言模型的高度弱模型性。为了解决集外词问题,提高集外词检索性能,本文首先着力于建立一个高性能的子词识别器。本文采用多种训练算法提高语音识别率,在基于混合高斯模型-隐马尔科夫模型(GMM-HMMs)的声学建模中,采用最小音素错误(Minimum Phone Error, MPE)准则来提高模型区分性；进一步,采用深度神经网络(Deep Neural Network, DNN)声学模型替代GMM模型,并使用跨语种训练和矫正线性单元(Rectified Linear Units, ReLUs)激活函数改善DNN声学模型性能；针对小语种问题,提出使用自动生成问题集来减少声学模型的数量。通过以上方法,明显提升了声学模型的建模能力。针对集外词被词识别系统错误识别的问题,使用音素、音节、词片三种子词单元作为解码单元,降低集外词语言模型的弱模型性,提升解码过程中集外词的音素识别率。其次,在集外词的子词检索系统建立过程中,考虑到三种子词间的性质差异,本文对三种子词检索系统使用不同的检索策略。对基于音素的STD系统使用基于加权有限状态转换机(weighted finite state transducer, WFST)完全匹配检索的方法降低虚警；对基于词片和音节的STD系统使用模糊匹配检索减少漏警。为了处理集外词词性质的多样性,本文使用词项相关置信度归一化方法对得分进行规整。另外,考虑到不同识别系统的输出的互补性,本文提出了基于线性逻辑回归的多系统融合策略,进一步提高置信度的可靠性。使用这些改进算法,本文分别在NIST STD2006英语关键词检索数据库和NIST STD2013越南语关键词检索数据库上进行了实验,获得了明显的关键词检索性能提升。