相对于文本内容,图像内容能更加一目了然将信息呈现出来,因而在阅读中呈现出二者相结合的趋势。以功能神经影像文献为例,文献中图文信息往往相辅相成的出现在读者面前。然而,当前主流的文本表示模型却无法对文献中的图文信息进行充分利用,主要存在图文语料信息组织性不足、短文本语义表示能力不足、对图文信息缺乏综合性利用等一系列问题。针对这些问题,本文以功能神经影像文献为切入点,就面向图文的短文本表示模型展开研究。主要工作包括:(1)针对当前功能神经影像领域多模态语料信息缺乏的现状,本文构建了功能神经影像训练集和文本训练集。首先,根据功能神经影像文献中图片的不同视角,构建了功能神经影像图片训练数据集;其次,对于功能神经影像文献中文本,通过短文本语义相似度计算,得到了相应的相关语义对集合和非相关语义对集合,构建了短文本训练数据集。通过图文数据集的构建,为文本表示模型和图文融合表示模型的训练提供了充分的数据支撑。(2)针对目前由于短文本特征稀疏以及主题关注度低引起文本模型语义表示能力不足的问题,本文提出了基于LDA的短文本表示模型“Weighted-LDATVM”。采用潜在的狄利克雷分配法来捕获短文本的潜在主题,并使用粒子群优化算法来学习主题词的相应权重值,通过对文本主题词进行加权计算实现了短文本的语义聚焦,获得基于加权主题词向量的短文本表示模型。本文采用短文本间相似性度量实验对该模型进行了评估,实验结果表明,该模型对短文本的相似度测量具有较好的区分能力和语义表示能力。(3)针对功能神经影像文献中图文信息缺乏综合性利用的现状,提出了一种基于注意力机制的图文融合表示模型。传统的主题学习方法仅能够对文本进行表示学习,而不能将相关的图像进行有效利用。本文创新性地将基于注意力机制的图像描述技术应用于神经影像文献挖掘领域,并与传统基于文本的LDA主题模型融合,形成全新的Attend-NIC-LDA主题模型,在对文献主题词充分识别的基础上,结合文献中的神经影像图像信息,对脑认知功能主题词进行了有侧重性的挖掘。基于PLo S One期刊数据集的实验结果表明,本文提出的Attend-NIC-LDA主题模型不仅在语义聚类上优于当前主流的主题模型,同时,在当前开放存储文献资源飞速增长以及脑认知功能更新不断加快的趋势下,弥补了脑区与相对应认知功能系统性不足的现状。