与视听觉感知密切相关的图像、语音和文本信息在社会生活中扮演着重要角色,这类信息可被人类直接感知和理解,也可用计算机进行处理,但计算机的处理能力远逊于人类且处理效率远不能满足当今社会发展需求。如何借鉴人类的认知机理和相关研究成果,建立新的计算模型和方法,从而大幅度提高计算机对这类信息的理解能力与处理效率,不仅可有力推动信息科学的快速发展,也将为脑认知科学的发展提供动力。目前,对视、听单一感觉通道的认知研究已经取得大量有价值的成果,然而,对于跨感觉通道大脑感知和认知机能的研究、与视听觉认知相关的脑电特征研究、脑区定位与脑功能网络分析、以及视听觉信息融合的模式识别技术仍处于探索阶段。特别是视听联合刺激诱发模式、脑电信号特征提取、识别精度与效率等方面仍存在一些亟待解决的关键问题。针对以上问题,本文研究了视听同步诱发的实验范式以及诱发脑电特征提取和分类识别方法。具体完成工作如下：(1)在阅读大量国内外文献的基础上,设计了视觉、听觉和视听同步诱发刺激实验范式,进而通过脑电仪采集视觉诱发、听觉诱发和视听同步诱发脑电信号。(2)对脑电信号进行共平均参考、数字带通滤波、去除眼电和自发脑电等预处理,以消除测量过程中产生的噪声、十扰和伪迹,获得纯净的诱发脑电信号。(3)分别采用小波变换,双谱分析以及小波-双谱分析方法,对BCICompetition Ⅲ提供的视觉诱发数据进行特征提取与分析,仿真结果表明了三种特征提取方法的有效性。进而采用小波变换提取视觉,听觉和视听同步诱发脑电特征,比较三种实验范式下大脑事件相关电位(ERP)的特点。(4)提出了多导联脑电数据与概率神经网络(PNN)相结合的视听诱发脑电特征识别方法,利用该方法对BCI Competition Ⅲ竞赛数据和本文视听刺激实验范式下采集的脑电信号进行特征分类,结果表明该方法与其他方法相比具有较高的分类识别正确率。本文研究成果可应用于脑认知科学和脑-机交互系统中,为神经信息处理奠定基础,具有科学和应用双重价值。