语音识别技术是一门涉及声学、语音学、语言学、计算机科学、信号处理、人工智能等诸多学科的综合性技术，目前已经被应用在工业、军事以及医疗等部门的指挥、产品检验以及数据录入等人机有声通信领域。长期以来一直是人们研究的热点，但是现有准确率较高的语音识别系统仍存在着耗时、成本高、使用起来不方便等缺点。这些缺点都影响着语音识别的速度、硬件实现和推广应用。本文首先在隐马尔可夫(HMM)模型和径向基神经网络(RBF)具体内容的基础上，分析了它们各自的优点和不足之处，提出了基于CDHMM和RBF的汉语数字混合语音识别模型和基于RBF的状态估计快速训练算法。该模型在训练阶段用多个简单RBF组成的神经网络组计算HMM状态的观测概率，识别阶段用每个HMM的平均值矢量序列与待识语音进行线性粗匹配，选择距离最小的HMM对待识语音规整，然后用神经网络通过不同的测度，对HMM模型输出的不易区分识别结果进行精识别。为了检验算法的有效性，在MATLAB6.5环境下对HMMNN混合模型进行了仿真计算，分析了汉语数字混合语音识别模型不同特征参数、训练样本数目、背景噪声对识别结果的影响，并分别应用CDHMM模型和HMMNN混合模型对非特定人进行汉语孤立数字和连续数字语音识别实验。结果表明，本文提出的模型和算法是有效的，与CDHMM模型方法相比，混合模型显示出其快速学习的能力，有较高的识别率和较大的应用优势，可以实现语音识别速度和效率的双赢。