图像分类问题长久以来都是学术界研究的热点问题,也是图像检索、图像理解和分析等研究的基础。近年来随着网络上数字图像的增长,传统的图像分类方法已经不能满足现实应用的需要,基于语义的图像分类方法越来越受到关注。本文通过分析生物视觉、图像特征等方面的最新研究成果,提出了层次化语义特征必须具备的一些特点,根据深度学习模型学习数据的层次化特征的原理,提出使用深度学习模型学习图像的层次化语义特征,并在此基础上设计了两种深度学习模型来进行图像的语义分类。本文主要研究了以下几个方面：(1)介绍了图像语义分类的意义和常见思路,讨论了两类构造图像语义特征的方法,分析了这两类方法的缺点,介绍了深度学习的发展历程,并对本文的主要工作做了简要的介绍。(2)对人类视觉皮层,特别是和一般视觉特征处理相关的视觉子区域,做了比较详细而深入的介绍。对常见的四类构造图像特征的思路做了详细介绍,分析了每种思路的优缺点。在前面两项工作的基础上,总结了图像语义特征必须具备的特点,提出了使用层次化学习模型来学习图像中的特征。(3)对分布式表示做了介绍,从表示能力角度说明了层次化表示的必要性。对常见的深度学习模型的理论和学习过程做了简要的介绍。(4)对图像语义分类问题作出了自己的定义。结合图像语义分类的实际问题,提出使用栈式去噪自动编码器和卷积深度玻尔兹曼机来提取图像的语义特征,然后进行图像分类。针对深度学习模型难优化的问题,总结了深度学习模型优化的常见技巧。(5)在CIFAR-10和STL-10数据集上验证了本文提出的两种深度学习模型在图像语义分类任务上的效果。对分类结果做了分析,对本文的工作做了总结和展望。