随着神经影像技术的发展,目前已有多种无创脑成像技术用于理解大脑功能与功能紊乱。这些成像技术有着各自的优缺点,因此不同脑成像技术的融合有可能产生高时空分辨率的无创综合神经成像技术。其中,最为典型的是具有时空互补性的脑电(electroencephalogram,EEG)与功能磁共振(functional magnetic resonance imaging,fMRI)多模态融合技术。该融合技术目前已在认知神经科学、神经和精神类疾病以及心理学等研究领域得到广泛应用。在本论文中,我们主要基于EEG与fMRI数据,以大脑时-空间信息的挖掘与融合为线索,发展了一系列的EEG与fMRI信息融合的技术方法,并将这些新发展的方法指标用于研究癫痫的脑机制。最后,我们提出了一个基于时空间匹配的统一融合理论框架。本论文各项工作总结如下:1.针对fMRI数据,提出一种新的时空指标:局部神经活动四维(时空)一致性指标(four-dimensinal(spatio-temporal)consistency of local neural activities,FOCA)。该指标整合了局部相邻体素的时间一致性信息与相邻时间点局部脑活动状态的空间一致性信息。首先通过仿真实验数据、静息态fMRI数据和任务态fMRI数据对该指标进行了测试,证实了该方法的有效性。然后,我们利用FOCA指标对额叶癫痫机制进行了初步研究,得到了与生理现象一致的结果,显示了FOCA指标的临床应用前景。2.基于典型相关分析(canonical correlation analysis,CCA),我们发展了能够同时关注不同模态时间信息的共性和特性的同步EEG-fMRI融合分析方法:局部多模态串行分析(local multimodal serial analysis,LMSA)方法。该方法的显著特点是能够估计不同脑区的血液动力学响应函数,并能够缓解同步EEG-fMRI数据信噪比较低的问题。仿真数据以及家族性皮质肌阵挛震颤伴癫痫同步EEG-fMRI数据的研究结果表明,LMSA方法优于传统的EEG相关fMRI分析方法,可望在同步EEG-fMRI数据处理中得到广泛应用。3.在融合分析中通常需平等对待多模数据的时间信息,以考察两数据集之间的线性与非线性关系。基于此,我们进一步提出了基于特征空间最大信息系数的典型相关分析方法(eigenspace maximal information canonical correlation analysis,emiCCA)。仿真数据与任务fMRI数据的研究结果表明,该方法不仅具有较好的非线性信息挖掘能力,而且在单一模态分析和多模态融合中均有较好的应用潜力。4.借助发展的emiCCA分析方法,基于同步EEG-fMRI数据,我们从癫痫网络角度研究了青少年肌阵挛性癫痫(juvenile myoclonic epilepsy,JME)患者发作间期的放电对其脑功能网络的影响。我们发现在JME患者中,发作间期放电会影响诸如默认模式、自参考、基底节以及额叶等网络;同时基底节、自参考与默认模式网络在癫痫放电的传播过程中可能起着重要的中介作用,进而扰乱了凸显网络的正常转换功能。这些结果表明,emiCCA提供的新视角可以更好地帮助我们理解JME等疾病的生理病理机制。5.基于同步EEG-fMRI数据,以最大信息系数(maximal information coefficient,MIC)和fMRI网络源定位技术(network-based source imaging,NESOI)为时空匹配的例子,依据融合过程的时空信息匹配情况,提出了一个多模态融合的层级可信框架。该框架实现了对多模态融合结果的归纳评估,以及对不同多模态融合方法的统一描述。仿真实验和真实数据结果表明,该框架不仅能提供重要的层级融合信息帮助我们理解大脑功能,而且能推广到不同的多模态融合分析方法与应用研究中,对后续融合方法研究有一定的指导意义。