随着计算机技术和语音识别技术的蓬勃发展，在实验语音学研究领域当中，人们利用计算机进行辅助口语学习和测评的智能化语音教学也凸显其态。本文研究的目的是结合声纹识别和语音识别技术，通过提取声纹特征既要强调说话人个性又要突出说话人共性，系统采用基于HMM和ANN的评分机制，设计并模拟了一款普通话测评系统软件，使得学习者可以及时得到关于语言学习的有效反馈，由频谱波形图的相似度给出其发音质量的一个等级评估，以提高他们的学习兴趣和效率。同时，考虑到人们讲话的灵活性及时变性问题，综合分析了现代西方语言与汉语普通话的特征，针对性地采取不同的方法，对语音识别方案进行了深入研究。1.在声学研究领域，采用HMM与ANN相结合的混合模型技术，采用隐节点剪枝算法，混合模型用神经网络非参数概率模型代替高斯混合模式计算HMM状态所需要的观测概率，在matlab环境下对神经网络做了优化，检测效果良好。2.在语言学研究领域，特别的对普通话测评系统中音节结构模型实现做了研究，由于普通话属于声调语言，因此对汉语普通话采用分层识别策略，并对其算法进行了并行优化，并优化了查询机制和前后向算法。试验表明，该方法取得了很好的效果，识别速度有了很大改进。本研究通过系统的模拟仿真，建立出了更加完善的口语测评管理机制，其交互性好，且不受地点限制，避免了教师资源不足、解决了需要大量人力教学等实用性方面局限性问题，从而提高了测评速率，在测评的公正性等综合因素考虑的情况下，使得普通话口语测试结果较之前的人工测试下通过率平均下降了30个百分点。