语音识别不仅在人机交互、人工智能(AI)、自然语言处理(NLP)等方面扮演着重要的角色,还是当下的研究热点。说话人的三维特征识别,就是通过说话人的语音信号分析出表征说话人性别、年龄和情感的信息,并对说话人的性别、年龄和情感进行识别,这对刑事案件侦查、智能医院、智慧法院等具有重要的现实意义,如:识别出驾驶员的情绪状态可以提前进行提醒,减少交通事故的发生,在心理咨询中准确识别来访者的情绪有利于咨询过程的顺利完成等。针对传统分类器Softmax、支持向量机(SVM)和极端梯度提升(XGBoost)对说话人的性别、年龄、情感等单个特征进行分类时分类效果较好,对二维(性别和年龄)以上多维特征进行分类时分类效果较差,采用多模态融合方法融合两个单模态深度学习模型Bi LSTM和CNN作为深度特征提取模型(即Bi LSTM＿CNN),对说话者语音信号的特征数据进行深度学习并提取深层次的表征性别、年龄和情感的新特征数据,以提高对三维特征的识别能力;针对在说话人识别中时域特征、频域特征与文本特征之间不能相互表征,采用多模态特征融合方法对单模态的时域特征、频域特征、文本特征进行融合以获取更能表征说话人语音信息的特征数据;针对深度神经网络对少量语音样本进行深度学习时学习能力低,本文提出将深度特征提取模型(Bi LSTM＿CNN)深度学习出的深度特征知识迁移到Softmax、SVM和XGBoost上进行目标任务学习。实验证明,本文提出的模型Bi LSTM＿CNN在目标任务学习SVM上对三维性别、年龄和情感的识别具有较好的分类效果。