语音作为人与人、人与机器交互的重要媒介,承载着丰富的情感内容。目前,语音情感识别技术具有重大实用价值,为呼叫中心情绪监控、监控人类情感变化、疾病诊断和辅助治疗、辅助测谎等提供了关键技术支持。针对单一语音模态情感识别精度不高问题,通过语音文本模态信息间的互补性,从语音信号处理出发,分析提取语音声学情感特征。利用CNN卷积和LSTM时序相关特性,提出一种CBL双通道文本情感特征提取算法。通过文本中的语义情感特征丰富语音情感特征表达,设计一种结合语义的语音文本双模态情感识别算法,实现文本语音双模态信息融合,提高情感识别准确率。为消除模态信息在特征层融合可能存在对情感识别的消极影响,结合Attention与双层融合机制进一步优化语音文本双模态识别模型。为验证提出算法的性能,在包含语音、文本信息的IEMOCAP数据集上展开实验。在基于语音的情感识别算法实验中,使用Open SMILE工具以“IS10＿paraling”为配置集提取行低层次手工情感特征LLDs（Low level Descriptors）,并使用全局统计函数得到相应的HFs（High Level Statistics Functions）。在相同声学情感输入下,SVM、CNN、LSTM、Bi LSTM四种情感识别算法中CNN取得的效果性能整体最好,WA、UA分别达到69.03%和70.45%。基于文本的情感识别算法的实验表明CBL模型的WA、UA分别达到了65.35%、64.91%,由结合语义的语音文本双模态情感识别模型的实验结果可知,融合后的模型WA、UA分别达到73.67%和74.32%,比单模态文本情感识别模型的WA、UA至少高出8.32%,9.41%,比单模态语音情感识别模型的WA、UA至少高出4.64%,3.87%,实现了四类情感识别的最优分类结果。实验证明,结合语义的语音文本双模态情感识别模型,弥补了单模态情感识别算法的局限性,有效利用文本、语音模态间的互补性,提高了情感识别的准确率。