大脑是人体的知觉中心、思维中心和控制中心,针对大脑活动进行成像的神经影像学的飞速发展使人们得以读取大脑的活动信号,极大地推动了神经科学的进步。尤其是功能磁共振成像技术(functional Magnetic Resonance Imaging,fMRI)出现之后,大脑功能活动成像空间分辨率大幅提高,使得对大脑复杂感知和认知神经活动的精确解读成为可能。视觉信息作为人类主要的信息来源,其解读技术一直是脑科学的研究热点。基于实时功能磁共振成像(real time fMRI,rt-fMRI)的图像检索能够直接利用脑活动信号还原出大脑所接收到的视觉信息,是现阶段视觉信息解读技术研究中最具挑战性和最有吸引力的技术,在人脑视觉信息处理机制研究中占有显著地位。针对人脑接受自然图片刺激时的视觉信息解读问题,本文着重研究了融合初级和中级视觉特征编码模型的图像识别方法和基于卷积神经网络视觉编解码模型的语义分类方法,并在此基础上结合rt-f MRI脑机交互技术,构建了基于rt-fMRI的脑机交互自然图像检索系统。主要研究工作包括:1.构建了一种融合中级视觉特征字典的视觉编码模型,并基于该模型实现了一种图像识别方法。目前已有的视觉编码模型通常将初级视觉皮层看作一个整体,强调对初级视觉特征的表征能力,而缺乏对处理中级视觉特征相关视觉区功能的模拟,影响了视觉编码模型的准确性。本文使用稀疏字典训练的方法构造了针对斑点特征和角点特征的中级视觉特征字典,并使用该字典模拟大脑视觉区的信息处理方式,同时将该字典与金字塔结构Gabor小波模型相结合,构建了融合初级和中级视觉特征的编码模型。本文使用该优化模型进行了基于fMRI的图像识别的实验,结果表明,优化的视觉编码模型能够有效地表征特定的初级和中级视觉特征,提高图像识别的准确率。2.提出了一种基于卷积神经网络视觉编码模型的语义分类方法。传统的语义分类方法以fMRI中各体素独立作用为假设,以单个体素在视觉刺激下激活的显著水平作为其是否用于视觉语义分类特征的依据,但大脑fMRI体素激活值的高低并不能直接反映该体素包含视觉语义信息的多少,这影响了视觉语义信息解读的有效性。本文基于卷积神经网络构建语义相关视觉区域的编码模型,利用语义相关特征相似性作为标准来进行特征选择,选择出的体素在一定程度上能够包含更多语义相关信息。四种语义的自然图像的分类实验结果表明,该方法能有效地提高语义分类的准确性。3.提出了一种fMRI图像检索中的实时脑机交互策略,并构建了一套基于rt-fMRI的脑机交互自然图像检索系统。该系统融合了视觉信息的语义解读和基于视觉编码模型的图像识别算法,可以通过对大脑fMRI信号的解读在线检索出图像库中与视觉刺激接近的图像。同时,本文在该系统中引入实时反馈机制,设计了一种基于视觉注意状态实时分类的rt-fMRI脑机交互策略,进行视觉信息在人与计算机之间的双向传递,以提高视觉语义解读的准确性。实验结果表明,该系统能够有效、稳定地完成实时图像检索任务,并且在引入脑机交互模块后分类正确率有显著提高。