近三十年来，随着计算机技术和医学成像技术的蓬勃发展，数字医学图像越来越多样化，并且其数量呈爆炸式增长，如何有效地管理这些图像成为一个迫切的问题。医学图像的分类是实现医学图像有效管理的重要手段之一，但传统的手工分类不能适应日益增长的医学图像的需要。医学图像的自动分类通过提取医学图像特征、训练分类器实现对图像的自动分类，从而提高了管理效率。近年来，医学图像自动分类算法的研究吸引了越来越多研究者的关注。本文主要研究融合多种模态信息进行医学图像分类的方法。本文首先对医学图像分类的发展及现状进行回顾，然后分别研究了基于图像特征和基于上下文的医学图像分类算法，重点探索了采用多核学习方法融合不同特征的分类算法，并取得了很好的效果。本文主要贡献有：(1)比较了多种图像特征在医学图像分类中的应用。具体地，探索了Gabor、SIFT、ModSIFT、Tamura、LBP和灰度共生矩阵特征，并分别采用SVM进行分类，比较各种特征的最佳分类精度。(2)研究了基于上下文的医学图像分类方法。采用的上下文为医学期刊中图像的图名，采用向量空间模型和TF-IDF加权方法来表示文本特征，并采用SVM进行分类。(3)研究了基于多核学习的多特征融合医学图像分类算法。分别实现了利用多核学习融合多种图像特征的医学图像分类算法，以及融合图像特征与文本特征的医学图像分类算法。实验表明利用多核学习融合图像和文本特征可以显著地提高医学图像分类的精度。