多模态神经生物数据解析是脑疾病与人工智能交叉学科中的一个重要研究方向。临床研究中通常会从患者身上收集大量的神经影像、电生理及行为数据等多模态神经生物信息,这为脑疾病的诊治提供了重要的数据支持;而深度学习为挖掘和理解脑疾病的临床差异和发病机制提供了有效的技术支撑。基于深度学习技术解析多模态神经生物数据,开发精准而高效的脑疾病识别技术,并探索脑疾病相关的神经生物标记,具有重要的科学意义和应用价值。因此,本论文基于多模态神经生物数据,包括:注意行为数据、弥散张量磁共振影像数据和脑电数据,提出了多种疾病特异性深度学习模型,实现了针对多种脑疾病及脑信号的准确识别与多类区分;并基于提出的可解释人工智能方法发现了脑疾病的生物视觉特征和脑网络中的类脑神经机制;本论文的研究工作为脑疾病的临床辅助诊断和运动功能辅助康复给出了新方法。论文的主要研究工作包括三个部分。研究工作一:基于眼动数据和双流ASD-VGG网络解析自闭症视觉行为。自闭症（ASD）中与非典型注意相关的视觉特征,特别是那些能够在个体水平上准确区分ASD和正常人（TD）的关键视觉特征很大程度上仍然是未知的;且缺乏一种可解释人工智能（XAI）的分析,能够揭示、可视化和解释分类背后的关键特征。因此,本文开发了一种新型的XAI深度学习框架用于系统识别和深入挖掘能在个体水平上准确区分ASD和TD的关键视觉特征;该框架融合了深度学习分类模型、图像分割方法、图像消融方法和直接度量分类能力的指标AUC（area under curve）。首先,我们设计了一种新型的双流ASD-VGG网络,将700张自然场景图片的刺激信息和对应的眼动信息融合输入到双流网络中,ASD识别准确率达到0.95,比其他SOTA（state-of-the-art）模型提高了3个百分点以上。基于XAI框架,我们系统地研究了三个不同级别水平的视觉特征的分类能力:单张图片、多张图片和图片局部特征。我们发现单张图片的分类贡献非常有限,而前250张图片组合信息的AUC值（0.96）超过了700张图片的AUC值（0.93）,说明图片信息组合中既存在协同作用也存在拮抗作用。我们从自然场景图片中挖掘到了11类对自闭症识别具有重要作用的局部视觉特征,其中两类新的关键视觉特征:食品饮料、户外物体,两类改进的特征:中心-物体、动物。我们还找到了一组区域面积仅占44%的9类特征组合,AUC达到了0.92,这组高效特征组合有助于临床辅助诊断中指导训练医生。最后,我们通过递归特征消除法获得了一个只含12张图片的数据子集,AUC达到了0.86,这个高效数据子集可以应用于手机app开发以帮助家庭自主初筛。我们的XAI深度学习框架为识别和理解自闭症的非典型视觉注意提供了一种新颖而强大的工具,并将反过来促进自闭症生物标记的识别。研究工作二:基于弥散张量成像数据和Res-GCN网络识别多种脑疾病。脑疾病的异质性和共病症状已成为临床对多种脑疾病区分的一大挑战,目前仍比较缺乏能有效用于不同脑疾病检测任务的通用深度学习模型,特别是缺乏对多种脑疾病的区分。因此,本文基于人群图类型的图卷积网络（GCN）并融合残差神经网络（ResNet）的快捷连接结构,开发了一种新型的通用深度学习模型Res-GCN,基于弥散张量磁共振影像（DTI）分别检测精神分裂症、重度抑郁症和双相情感障碍三种脑疾病,并实现了对三种脑疾病的区分。首先,我们基于构建的3DResNet21网络对精神分裂症（SZ）、重度抑郁症（MDD）和双相情感障碍（BD）的DTI数据进行训练测试,准确率分别为0.8050、0.7011和0.7332,验证了预训练网络C3D-UCF101Net提取特征的有效性。融合C3D-UCF101Net提取的DTI影像特征和其他就诊信息并基于GCN网络,我们设计了一种新型的Res-GCN网络以提高三种脑疾病的检测精度:SZ、MDD和BD的准确率分别为0.8243、0.9329和0.8963;MDD准确率比其他SOTA模型提高了8个百分点以上,BD准确率比其他SOTA模型提高了1个百分点以上。不同识别任务的高精度验证了Res-GCN的泛化能力和鲁棒性。最后,我们将Res-GCN网络迁移到三种脑疾病和正常人的四分类任务中,分类准确率为0.6215。我们的Res-GCN深度学习网络为辅助脑疾病的临床诊断提供了一种新颖而有效的通用工具,为不同脑疾病的诊治研究提供了新思路。研究工作三:基于脑电数据和多尺度CNN-Trans网络区分运动想象行为。脑机接口（BCI）系统中运动想象脑电信号的准确分类具有挑战性,深度学习已成为研究运动想象行为的有力工具,目前仍比较缺乏结合神经机制的端到端深度学习框架可以有效解决脑电数据中的长程依赖关系并准确区分运动想象信号,特别是缺乏基于个体间迁移的运动想象信号分类的通用模型。因此,本文基于多头注意力机制开发了一种新型的多尺度CNN-Trans深度学习模型应用于运动想象脑电信号的三种分类任务:左/右手运动想象（L/R）的二分类、左/右手运动想象和睁眼（L/R/O）的三分类、左/右手运动想象和睁眼及双脚运动想象（L/R/O/F）的四分类。我们基于Transformer并结合CNN结构设计了一种CNN-Transformer模块,多尺度CNN-Trans深度学习模型通过融合多个CNN-Transformer模块以提取不同时间尺度的特征信息。首先,我们采用Physionet EEG运动想象公共数据集训练测试多尺度CNN-Trans模型,基于被试间训练和3秒长样本,L/R二分类、L/R/O三分类和L/R/O/F四分类任务中的分类准确率分别为:82.68%、73.76%和63.24%;二分类准确率比其他SOTA模型提高了0.2个百分点以上,三分类准确率比其他SOTA模型提高了1.4个百分点以上,四分类准确率比其他SOTA模型提高了0.1个百分点以上。然后,我们探索了不同的尺度数对模型性能的影响,尺度数为4时模型的综合性能最好,尺度数的增加一定程度上可以提高分类能力,特别在L/R/O三分类任务中。最后,我们通过注意力权重脑地形图可视化分析发现,与感觉运动脑区对应的注意力权重显示出与μ节律和β波一致的事件相关去同步化（ERD）模式,这有助于理解模型在脑电分类时的工作机制。我们的多尺度CNN-Trans模型为理解和区分运动想象行为提供了一种新颖而有前景的方法,对促进BCI系统的发展具有积极作用。本论文通过解析多模态神经生物数据,提出了三种疾病特异性深度学习模型,实现了针对多种脑疾病及脑信号的检测识别,并发现了一些关键的生物视觉特征和类脑神经机制,为搭建多模态多任务脑疾病辅助诊断系统做了相关的基础研究工作。受数据驱动的局限性,该系统的搭建还存在一些不足的地方:缺乏对多模态数据的联合利用,及缺乏对多任务的深度学习通用框架的探索。为了进一步完善该系统,基于本论文的研究基础,未来我们将从三个方面进行更深入的探索:联合神经数据、行为数据、基因数据及临床诊治信息等多模态数据以获得更高的分类水平,开发多任务脑疾病辅助诊断系统用于脑疾病大规模筛查,融合影像学和行为学等多模态信息挖掘脑疾病相关的神经生物联合标记。