随着手机、平板电脑、智能笔等诸多智能设备的出现,手绘草图更频繁的出现在公众的视线当中。手绘草图图像高度抽象且易于绘制,表达内容多样丰富,因此深受公众的喜爱。但是由于草图绘画者的绘画功底不一,草图的呈现形式也多种多样。对于同一个物品,不同的人绘画出来的草图也大相径庭,正因为如此,现有的已标注的草图数据集十分有限,尤其在某些特定的草图研究领域中。面对如此多样化表达的草图和如此匮乏的草图数据集,如何让计算机准确的理解手绘草图,以及如何高效的识别手绘草图成为一个日渐重要的研究问题。准确的草图理解,高效的草图识别方法对于日常生活中的人机交互以及各类衍生的草图应用等都至关重要。而草图本身结构简单,色彩单一,表现形式多样,这使得原始的草图与其高级语义之间存在着巨大的语义鸿沟。为弥补这两者间的语义差异,使得计算机能够较准确高效的理解识别草图,本文深入地分析了草图自身的构造特点,将语义信息融合到草图的识别中。草图的语义信息,实际上分为两大类,第一类,指的是草图标签语义,标签语义无论对于完整的草图而言,还是对于草图的部件图而言都是实实在在存在着的,它们的标签即是它们的高级语义;第二类,指的是草图形状语义,单幅完整的草图是由各个部件图构成的,相同的部件通常具有相似的形状,草图的形状语义组成了草图的高级语义。本文在对其他主流的特征提取以及识别方法的大量研究下,深层次地融合了草图的语义信息,提出了一种基于语义树的草图识别方法,以及融合稀疏编码和深度学习的草图特征表示方法,并验证了该特征表示方法在草图识别上的表现力。本文的主要工作以及创新点如下:1、基于草图部件的标签属性,本文提出一种基于语义树的草图识别方法。该方法针对现有的草图识别框架使用整幅图像作为网络的输入造成识别过程的不可解释性,提出一个新的网络模型(Sketch-Semantic Net)。该方法首先采用部件分割的方式,将单幅完整的草图分割为多个具有语义概念的部件图,然后,迁移自然图像中训练的卷积神经网络对所有的部件图进行识别,最后通过语义树中的语义概念将部件图同部件所属对象相关联,有效的弥补了草图图像从低层语义到高层语义之间的语义鸿沟。该方法的主要创新点在于:1)使用草图具有明确语义信息的部件图来帮助草图图像的识别,将深度学习与语义树相融合;2)在融合策略中,采用了基于上下文的语义融合策略,有效的缓解了语义的二义性对融合产生的影响。在主流的草图分割数据集(Sketch_Dataset)下,实验结果证明了本方法的有效性。2、基于草图部件的形状语义,本文提出了一种融合深度学习与稀疏编码的草图特征表示方法。针对目前草图理解中草图特征表示的能力较低下,且在某些特定领域中,小规模的数据集下传统的草图特征表示方法效果受到影响,本文提出了一个新的草图特征学习算法(Sketch-Representation Algorithm,SRA)。该算法首先对草图进行语义分割,然后迁移深度学习方法,分别提取草图特征和草图部件特征,之后将部件特征降维聚类,获取聚类中心,最后利用部件的聚类中心向量初始化稀疏编码中的字典,交替迭代求解以获得最终的草图特征表示。不同于以往的草图特征表示方法,本方法通过迁移深度卷积神经网络来获得草图部件特征,并将该部件特征引入到稀疏编码中,作为字典的初始基向量。将草图的形状语义信息融入到稀疏编码中,在提升草图特征表示性能的同时,使得稀疏表示具有更好的可解释性。该草图特征表示方法在草图识别中取得了可观的效果,实验结果证明了本算法的有效性。