语音识别作为一种最早出现的人机交互方式,在几十年间获得了很大进展,其中,视听双模态语音识别技术对于复杂声学环境下的语音识别效果有显著的提升。标准的视听双模态数据库是开展双模态语音识别技术研究的必备数据基础,然而,相较于国外多样的视听语料库,国内对双模态语料库的研究还远远不够,已经公开的汉语双模态语料库存在着词汇量单一、音视频质量差等问题,并且二维图像的质量极易受到光照、说话者头部旋转、遮挡等因素的影响。本文将深度信息融入双模态语料库中,利用微软第二代Kinect多元传感器开发出一套多模态数据同步采集系统,并预先采集了小规模语料库,通过在该语料库的基础上进行的多模态实验证明,深度信息对于语音识别有很大的帮助。本文设计了语料自动选择算法,制作了无调音节覆盖率达78%、二音子覆盖率达93.3%的音素平衡语料集,并在专业的录音场景下采集了69位说话人的包含音频、彩色视频、深度图像、3D信息的多模态数据,最终建立了总时长达22.4小时、总存储空间为6TB的融合了深度信息的汉语多模态语料库。最后本文设计了基于多模态语料库的孤立词识别及连续语音识别基准实验,分析了深度数据对语音识别实验的贡献与价值。