心电和心音在心血管疾病的早期预测和诊断中扮演着重要的角色。伴随着机器学习的快速发展,利用心电图(ECG)和心音图(PCG)对心血管疾病进行自动诊断得到了研究人员的大量关注。但是,由于心脏活动的复杂性和个体差异性,基于心音图或者心电图的心血管疾病自动诊断仍面临巨大的挑战。在以往的相关研究中,研究人员大多针对单一的数据源,心电图或心音图进行信号分析和算法开发,而基于多模态数据的相关研究较少。而临床上医生对于心血管疾病的确诊大都是基于多种模态的检测数据,例如心音,心电图,生化标志物,心脏彩超等等。因此在心血管疾病自动诊断方面,开发一种基于多模态的数据源来进行心血管疾病的自动诊断是十分必要的。PhysioNet在2016年公开了同时包含心音和心电的心血管疾病数据集。以此数据集为基础,本文提出了基于机器学习的数学模型来进行心血管疾病的预测分类。我们利用结合卷积神经网络和循环神经网络的CL-ECG-Net对心电信号进行监督学习,并提取心电深度编码特征。再利用以CL-ECG-Net为基础的,增加多通道输入的CL-PCG-Net对心音信号进行监督学习,并且提取心音深度编码特征。然后用遗传算法对拼接的双模态特征进行特征融合,降维,并产生最优的特征组合。最后,利用SVM分类器对正常样本和心血管疾病样本进行预测分类。结果表明,本文提出的基于心电图和心音图的预测模型在准确率和AUC(Area Under the Curve)上分别达到了 0.880,0.936超过了基于单模态(单独心电数据源和单独心音数据源)的预测模型(ECG:0.872,0.916,PCG:0.709,0.748)。另外,本文设计了基于主成分分析(PCA)降维的对比实验。结果表明在特征降维问题中,遗传算法显示出了更好的性能。