随着经济的快速发展,海上贸易事业日益繁荣,使得海上交通负载变重,航道更加拥挤,进而带来较大的交通安全隐患。特别是当海况不好或者航程较远时,复杂的驾驶环境给船员和乘客的生命财产安全带来巨大的威胁,对船舶驾驶员要求就更高,因此智能化船舶驾驶或无人船的应用将变的更有意义。随着人工智能和传感器等技术的飞速发展,指纹识别、脸部识别、语音识别、手势识别和行为识别等生物识别技术的应用也越来越多,利用指纹、声纹和面部识别进行身份认证越来越受到人们的关注。其中,人脸识别技术和声纹识别技术是具有高度个性化并采用非接触方式识别的便捷身份识别方式。本文提出的面向智能船舶的人脸和语音混合型识别系统,使船员在驾驶过程中可以利用人脸识别和声纹识别进行双重身份认证,并通过语音来发出指令,进而迅速准确的完成人机交互。在开放、动态的环境中,通常需要面部和声音的双重认证,以保证其准确性及安全性。船舱就是一个典型的开放、动态的环境,需要面部和声音的双重识别来进行发令人与命令执行权限的匹配。因此,面向未来的智能船舶需要这种新型智能的人机交互技术。为了迅速、智能地完成人机交互过程,识别发令人的身份和命令内容变得至关重要。针对上述问题,本文主要研究工作如下:(1)提出了一种基于数据驱动的声纹特征提取方法,该方法在倒谱的基础上利用层次聚类算法对语音数据进行自下而上的特征聚合,从输入的语音信号中提取出能够表示声纹特征的向量。并通过实验证明了基于数据驱动的层次聚类算法提取出的声纹特征比使用经典特征MFCC(Mel-frequencycepstral coefficients)有更好的识别效果。(2)人脸检测方面,将经典的人脸检测算法Haar、HOG(histogram of oriented gradients)和 MTCNN(multitasking convolution neural network)进行了 对比,得出在对人脸进行检测时,MTCNN的计算性能极大的优于经典的人脸检测算法,在检测速度上也可以满足实时的人脸检测需求。人脸特征提取方面,对比了 LBPH(localbinarypatterns histogram)与基于神经网络的人脸特征提取算法FaceNet,在数据测试集CASIA-FACEV5上FaceNet相对于LBPH算法在正确率上显示出了巨大的优势。(3)在声纹识别和人脸识别的基础上,进行身份识别。结合科大讯飞的语音识别技术完成语音内容的识别,对识别的内容进行分词处理,同时完成命令的精确匹配,并对命令执行权限进行了验证。