基于草图的细粒度图像检索(Fine-grained Sketch-based Image Retrieval,FG-SBIR)旨在解决实例级别的草图和自然图像匹配问题。当前FG-SBIR的主要难点在于:(1)草图的构图抽象,而且绘图者水平不一,导致绘图结果差异大。(2)草图标注需要耗费大量的时间和精力,所以草图数据集依旧缺失,目前公开的几个草图数据集中样本数量较少。(3)草图和自然图像差异非常大,而FG-SBIR模型不仅需要学习不同模态的特征,还要将二者映射到同一空间进行距离计算,实现跨模态的检索。(4)FG-SBIR需要解决细粒度的匹配问题,要求模型具有高度的识别能力,能够区分不同的实例图像。本文针对FG-SBIR的相关问题进行了深入研究。在特征学习方面,通过草图识别的方法来寻找最优的草图特征提取模型。针对草图差异性大和数据量少等问题,我们采用基于整形变换的草图数据增广方法进行数据扩充,在草图识别任务中取得了有效的提高。结合草图的视觉信息和时序信息,我们探索了基于卷积神经网络(Convolutional Neural Networks,CNN)、基于坐标序列和基于笔画序列等多种不同的草图识别方法,并分析不同方法的识别效果。在图像检索方面,为了提高模型的辨识能力,本文提出了一种增强式困难三元组构建方法,并通过大量的对比实验证明该方法能够显著提高检索准确率。此外,本文分析了类别信息、权值共享方式对跨模态检索结果的影响,探索更优的FG-SBIR解决方法。