在数字领域中图像数据和文本数据一样常见。和那些文本搜索引擎一样高效的图像管理工具成为现在的急迫需求。在过去十几年的图像检索研究发现现有的基于内容的图像检索和人为理解图像的语义翻译之间存在巨大的鸿沟。因此,现在关于图像检索的研究已转换到语义图像检索中。许多语义图像检索模型已被提出,然而,这些模型或方法仍然脱离了广泛使用的基于文本的检索方法。为了弥补这个语义鸿沟,现在一些研究者提出了自动图像标注的方法。这种方法可以被用来解决大型图像数据库中的语义搜索问题。然而,现有的标注方法,其检索性能却远远无法满足用户的期望。本文的研究目标就是要开发一个有效的基于语义的图像检索系统,该系统可以利用人能理解的规则来标注图像,而且可以像现在的文本搜索同样的方式来检索图像。本文提出了一种通过支持向量机和决策树相结合的新颖方法来自动标注图像。为了获取标注规则,需要通过图像分割、特征提取及离散化来获得一组训练区域特征值。对于海量Web图像,本文提出基于K-means和最大期望两种聚类算法来提取Web图像中的语义区域。获取训练数据之后,首先利用一个支持向量机作为预处理来提炼训练数据,并改进由决策树学习方法产生的规则。这个支持向量机还会再次被使用来有效处理图像中的相似区域。另外,本文将决策树产生的原始规则添加到这个修正的规则中,最终形成完整且精确的标注规则。通过这种算法便可以将未标签图像翻译成文本,最后利用倒排文件索引方式来实现图像的检索与重排。本文通过一个标准Corel数据库和两个Web图像库(包括Yahoo库和Google库)对提出的算法进行了实验分析,以验证该系统的有效性和鲁棒性。实验结果表明本文算法比传统学习算法更能有效检索和重排图像。