随着茶叶分拣技术的不断自动化，将计算机视觉应用到茶叶分拣中拥有十分广阔的前景，能够大大增加分拣过程的自动化程度，减少人工劳动，节省成本。茶叶在采摘的过程中难免会混进一些石块、树棍、杂草等杂物，本文基于图像处理和模式分类识别茶叶图像中的杂质，能够有效地将图像中的杂质识别出来。由于所采集图像中的杂质主要为棍棒类杂质和球状类杂质，本文分别使用不同的算法识别杂质。为了识别所采集茶叶图像中的杂质，先对图像进行预处理，其目的是为了突出需要的特征而抑制干扰信息。首先对图像进行灰度化，接着平滑图像去除噪声，然后分割图像将目标和背景分离开。又由于阴影的存在会影响后期的识别工作所以去除阴影，最后进行边缘检测得到目标边缘的二值图像。针对图像中的棍棒类杂质，其边缘包含直线特征，而茶叶的边缘没有，因此检测出杂质中的直线特征就能够识别棍棒类杂质。霍夫直线变换能够检测图像中的直线且不受噪声的影响，鲁棒性较强。本文采用霍夫变换检测直线并对其进行优化，加快了算法运行速度，能够很好地识别图像中的棍棒类杂质。针对图像中的球状类杂质，由于其形状特征和茶叶差别很大，因此设计分类器来识别茶叶中的杂质。本文介绍了几种分类器的设计原理，最后使用更为成熟的支持向量机算法设计分类器。对目标和背景分离的二值图像进行连通区域标记，将图像中的多个目标区域标记后计算每个区域（即每个目标）的特征数据，最后选择最优特征子集依据支持向量机的算法原理设计出分类器。在上述研究基础上，我们设计完成了识别两类杂质的原型系统，并用20幅包含两类杂质的图像验证了算法的可靠性，实验数据表明识别准确率高于90%，证明该系统能够很好地完成识别工作。