图像分类一直是计算机视觉领域最受关注的问题之一,其中细粒度图像的分类更是近年来的研究热点。细粒度图像分类的目标是区分那些在视觉上十分相似的图像子类,比起一般的图像分类任务,细粒度图像分类具有更大挑战。传统的基于视觉特征的分类很难应对子类间视觉相似度过高的问题,且容易产生语义鸿沟。因此,许多研究者提出利用用户点击特征分类图像。与视觉特征不同,点击特征包含了丰富的语义信息,且它是利用搜索日志构建的、不需要额外的人工标注。鉴于点击特征的诸多优点,我们研究基于点击特征的图像分类方法,从而改善细粒度图像分类的效果。然而由于原始点击数据中的查询文本规模庞大,直接利用点击次数构建的点击特征往往维度高、稀疏度强、噪声大,因此在实践中往往无法获得理想的效果。此外,在真实环境下,数据集往往并不包含原始的点击数据,这极大程度地限制了点击特征的应用。本文围绕基于点击特征预测的图像分类进行研究,以解决传统数据集中点击数据缺失的问题。首先研究真实点击特征的构建模型,其次研究有效的基于视觉特征的点击特征预测方向,最后,利用预测点击特征研究高效的图像分类框架。本文提出了一种新颖的跨域多任务迁移学习模型,该模型采用非线性视觉-文本嵌入和位置敏感损失来改善预测模型,并利用多任务学习和跨域多模态的联合训练策略同时优化分类和预测精度。实验结果表明该方法较其他方法而言有更低的预测损失和更高的分类精度。此外,为了进一步改善点击特征的效果,我们利用聚类算法,构建了层次化的点击特征,并融合特征选择技术、提出了基于层次化点击预测的分类模型。实验结果表明,层次化的点击特征能更好的描述结构化的语义,特征选择的加入能够有效的提高精度减少噪声。