人类获取信息的80%以上来自视觉,大脑视觉系统具有效率高和鲁棒性强等优势,如何理解和模拟大脑视觉信息加工方式是神经科学与计算机科学交叉领域的热点问题。功能磁共振成像(functional Magnetic Resonance Imaging,f MRI)因其良好的时空间分辨率和无损成像等优点已成为研究人脑的主要手段之一。基于f MRI建立视觉编码模型是以大脑视觉感知机制为依据,模拟大脑视觉信息处理过程构建预测人眼接受视觉刺激时大脑神经响应的数学计算模型。深度神经网络(Deep Neural Network,DNN)的构造灵感最初就来自于大脑视觉系统,因其非线性特征表达能力,在视觉编码模型研究领域体现出独特优势。由于大脑视觉信息处理的复杂性,如何构造深度网络实现各类非线性视觉特征的提取和融合,是提高视觉编码模型预测性能的关键问题。本文依据不同视觉感兴趣区域(Region of Interest,ROI)信息处理的特点和差异,结合深度网络的非线性特征提取和学习特性,从“手工设计特征选择”、“手工设计特征与深度网络特征融合”和“深度网络特征与视觉注意特征融合”等方面出发,研究并提出了针对不同ROI的视觉编码模型。主要工作如下:(1)提出了一种基于稠密Gabor特征的Gabor小波金字塔(Gabor Wavelet Pyramid,GWP)低级视觉区编码模型。自然图像视觉刺激在空间频率、方向和位置方面的局部变化非常复杂,经典的GWP模型在特征空间表达方面是否充分尚没有明确结论。为此,本文提出了一种稠密化的GWP(Dense-GWP)视觉编码模型。本文首先分析了三种特征(空间频率、方向、位置)的稠密化表达分别对GWP模型编码性能的影响,实验结果表明,稠密化的方向和位置特征可以提高GWP模型对低级视觉区的编码性能,Dense-GWP模型比原始GWP模型对V1、V2和V3区的预测准确率分别提高了5.43%、4.87%、1.10%。(2)提出了一种基于Gabor Net-VE的低级视觉区编码模型。基于手工特征的编码模型具有较好的可解释性,但是模型的准确性不足,而基于深度网络特征的编码模型与之相反。为了融合两种特征表达的优势,本文构建了基于Gabor特征与深度网络特征融合的Gabor Net-VE低级视觉编码模型。Gabor Net-VE是一个由Gabor卷积层、两个常规卷积层和一个全连接层组成的轻量级端到端回归模型,核心是第一卷积层中常规的卷积核用参数可学习的Gabor卷积核替换。实验结果表明,Gabor Net-VE模型显著提高了对低级视觉ROI的预测性能。此外,可视化结果展示了视觉特征和估计感受野随着视觉ROI变化的规律性,表明Gabor Net-VE模型在生物学解释性方面也具有一定的优势。(3)提出了一种基于Res Net-CBAM的中高级视觉区编码模型。注意力机制在大脑视觉系统中普遍存在,对于中高视觉区的信息处理尤为重要。目前,中高级视觉区编码模型大多采用与低级视觉区编码相同结构的深度网络,忽略了视觉注意力机制的影响,是中高级视觉区编码性能较低的重要因素。本文针对中高级视觉编码模型,引入注意力机制,在深度残差网络(Deep Residual Network,Res Net)中嵌入多维注意力卷积模块(Convolutional Block Attention Module,CBAM)进行预训练,构建新的Res Net-CBAM网络,然后利用此网络中对图像刺激的中间层特征构建特征空间,对体素响应进行线性预测。实验结果表明,与基于Res Net的编码模型相比,基于Res Net-CBAM的编码模型对V4(中级视觉区)和PPA(高级视觉区)编码性能有了显著的提高。