论文部分内容阅读
图像中蕴含着丰富的情感语义,图像情感语义识别是图像处理、人工情感、机器学习、认知心理学多领域研究的热点。图像情感是人们观看图像时的情感反应,是人们对图像的一种主观反应,是一种隐式的,内隐的反应。现有文献大部分都是基于图像本身的低阶特征,并通过机器学习建立和情感语义之间的关系。选用已标注的情感图像库是这类研究的关键,但是目前大多数的图像库的情感是人工标注的,这种标注需建立在统计学基础上,需要大量人力,物力,且人工标注很难反映内隐的情感体验。功能磁共振成像(functional magnetic resonance imaging, fMRI)是一门图像技术,主要是通过测量血氧水平依赖信号进行脑激活研究。随着fMRI在情绪过程研究中的应用,研究人员发现不同的情感将产生不同的激活模式。本文提出采用fMRI技术观察人脑对图像情感的反应,利用机器学习的方式建立脑激活模式与情感之间的映射关系,通过训练得到的分类器对未知图像情感进行自动标注。本研究是国家自然科学基金“基于fMRI个性化图像情感标注及其本体库研究”的一部分(ID“60970059”),属于探索性研究,主要是研究不同情感类型在大脑中的激活模式,选择合适的特征选择方法提高分类器的准确度,实现对fMRI数据情感类型的解读。本论文主要工作如下:1.研究不同情感在脑中的功能定位。设计图像情感磁共振实验,实验采用事件相关性设计,在实验过程中,被试通过按键确定图像的情感语义(正性、中性、负性)。选用包括场景、人物、动物情感明确,歧义少的图片用于研究图像情感。采用Statistical Parametric Mapping (SPM)软件对获得的fMRI数据进行分析,利用f-test对比方式,获得正性、中性、负性三个条件对比激活的脑区。通过实验发现,外核,额上回,中央前回,额中回,颞上回,顶叶,枕叶等脑区被明显激活,这些激活脑区与已有的文献报道相吻合。2.针对fMRI数据样本少,高维等特点,对分类器的性能进行研究对比。研究发现,选用相对简单的线性分类器进行fMRI数据分类,分类正确率超过随机水平,平均准确度接近参与被试主观预测,并且具有较快的数据处理速度。实验结果也表明,采用线性分类器分析fMRI数据,能够解读其中蕴含的情感状态。3.分类器算法的关键是选择合适的特征。本研究以体素作为特征,采用特征抽取和特征选择两种方式进行降维:首先,特征抽取,选择SPM产生的激活区中的体素作为特征;然后,特征选择,基于单个体素的准确度或激活度排序体素,并从中选择最优体素。该方法有效提高分类器的准确度,准确度最高达到90%左右。