本文研究的内容是国家自然科学基金“视觉听觉跨模态相十性协同学习算法研究”(60873139)中的重要组成部分,旨在探索人类认知环节中的视觉模态和听觉模态的相干性问题。人类对环境的认识,80%是通过视觉来实现的,同时,听觉也起着不可替代的作用。那么在视觉模态和听觉模态之间到底有无关系,以及有着怎样的关系,这是一个非常值得研究和关注的问题。当前,在多个学科对这一问题都展开了研究,本文以希尔伯特-黄变换(HHT)和脑电信号处理技术为研究手段,分析了视觉诱发脑电、听觉诱发脑电以及视听觉一致时脑电和视听觉不一致时脑电数据的关系,从信号相关系数的数值比较方面得出了视听觉模态具有相十性的结论。在此过程中,解决了希尔伯特-黄变换在脑电信号处理中的一系列相关技术问题,具体来说,围绕着以下四个方面来展开：(1)脑电信号是一种典型的非线性、非平稳信号,小波变换和希尔伯特-黄变换都可以对其进行时频分析处理,但哪种方法分析效果更好,这至关重要。文中对这两种方法进行了多角度的对比,并以实际的脑电数据做仿真,得出希尔伯特-黄变换更适合分析脑电信号的结论。(2)运用HHT变换处理脑电信号的过程中,容易因为端点效应的问题而影响信号分解的效果。本文详细分析了端点效应产生的原因以及现有的几种端点效应的抑制方法,对这些方法的效果进行了比较,并在此基础上提出了一种相似波形加权平均的延拓算法。①在衡量评价多种端点效应的抑制方法时,提出了一种考虑了分解效果和分解效率的综合评价体系。分解效果通过两个方面得以体现：其一,比较分解后得到的有效分量和分解前原信号的相关系数；其二比较原信号分解前后的能量差值；分解效率通过计算抑制算法的运算时间来评估。②在对现有端点效应处理办法分析的基础上提出了一种相似波形加权平均的端点延拓算法,用若干个相似子波的加权对信号的端点处进行延拓,这样处理后的信号更加符合原信号的发展趋势。从对仿真数据和真实的脑电数据处理的效果来看,该方法能够解决端点飞翼的问题,使得脑电信号处理的效果比较令人满意。(3)传统EMD方法对脑电信号分解会产生模态混叠的问题,本文提出了用EEMD的方法改善模态混叠的影响,用CUDA的计算模式提高EEMD的分解效率①EEMD是一种噪声辅助分析的技术,通过在原信号中加入了若干组白噪声信号,使得信号在时间尺度上保持了连续。同时由于噪声的零均值特性,经过多次平均后,噪声将相互抵消,从而达到改善模态混叠的效果。②多个白噪声信号的加入,使得分解算法的时间复杂度大大增加,这会使得EEMD不适合一些实时脑电信号分析的场合。对此,本文又提出了一种基于GPU+CPU计算模式的EEMD,从而大大提高了EEMD的计算效率。(4)为得到视觉听觉跨模态相干的证据,设计了视听觉相干的脑电实验,采集实验数据,对数据进行处理分析。考察了以下两个角度的信号相关性：①考察视觉单模态脑电信号、听觉单模态脑电信号和视听一致的脑电信号以及视听不一致的脑电信号的相关性,对相关系数的值作比较,得到视听觉具有相干性的结论。②对视觉单模态信号、听觉单模态信号做本文提出的I-EEMD分解,得到主要信号成分,计算这些主要成分和视听一致、视听不一致信号的相关系数并做比较,从得到相关系数的对比情况来看,证明视听觉模态也是存在相干性的。