随着信息化和计算机技术的不断发展,海量信息不断涌现。针对信息的特征提取是机器学习算法的首要工作,也是最重要的工作。深度学习神经网络可以充分学习这些信息并得到深层特征,在近年来取得卓越的发展。信息存在的形式和模态变化多样,针对不同的模态的信息需要不同的处理方式和信息提取方法。例如电影这一现实存在的对象中的信息存在模态就包括文本信息(电影简介等)以及图像信息(电影海报等)。目前电影产业蓬勃发展,每年的电影消费总额已经超过数百亿美元。这为模式识别、特征抽取等领域提供了丰富多样的数据,并且也提出了针对电影的应用需求,例如电影推荐系统等。因此,针对电影这种多模态信息存在的载体的特征提取引起了学者们的广泛关注。本课题的工作主要分为三个部分——针对文本信息的深层特征提取、针对图像特征的深层特征提取以及针对文本-图像多模态的深层特征提取。在本课题中,针对文本信息的深层特征提取工作在基础深层学习神经网络的基础上进行扩展,主要使用了卷积神经网络与递归神经网络相结合的方式提取文本信息。使用卷积神经网络与递归神经网络训练得到词向量(word embedding)。之后将依据得到的词向量矩阵将电影简介信息特征(对一个或多个句子分词,对句子中的所有词的词向量拼接得到)输入到一个递归神经网络之中。在电影情感倾向预测任务中,所有网络结构最终的拟合目标是电影的情感倾向。并与传统文本信息提取方法进行了对比。而针对图像的深层特征提取工作则针对电影的海报图像,使用深层卷积神经网络训练得到深层图像特征。卷积神经网络近年来在图像特征提取领取取得了巨大的成功。本课题还将深度学习网络与传统图像信息提取方法进行了对比实验。特征融合通常从特征层面及决策层面进行融合。本课题设计了文本及图像特征的融合模型,通过将文本序列特征进行高层时序特征提取后,与图像特征一起送入融合模型中得到深层融合特征,并与分别单独使用深层文本特征及深层图像特征在电影主题预测及电影评分预测两个任务进行对比实验。实验结果表明了融合模型的有效性。