人物肖像画自动生成是计算机视觉领域一个具有挑战性的难题。由于人物肖像包含多种模式，而每种模式又包含非常复杂的组成结构。因此，很难找到一种通用的模型对人物肖像各种可能的模式进行全面的建模。本文提出了基于与或图表示的肖像画自动生成方法，并把研究工作集中在人物肖像画理解与模板匹配方面。本文首先提出了改进的主动形状模型算法用于人脸特征提取，为后面的肖像画生成提供重要的几何信息。针对主动形状模型在实际应用中的不足，对其局部纹理模型，搜索算法，模型初始化提出了若干改进算法。实验结果表明，改进后的算法可以提高人脸特征点定位的精度和速度。其次，提出了一种基于与或图表示的肖像画自动生成方法。与或图表示是一种分层次的产生式模型，能够分离肖像画的结构和风格并解释其多样性。该方法将肖像画分解为头发，人脸和衣领三部分，每一部分对应许多子模板。对于给定的一张人物图像，通过模板匹配挑选各部分匹配的子模板，这些子模板在肖像画与或图的指导下组合而成形象的肖像画。该方法受益于多个不同风格的模板库，改变模板库的风格就能方便的更改生成肖像画的风格。大量的实验结果表明了该方法的有效性。为了有效的对肖像画各部分进行模板匹配，本文分别提出了五官，头发和衣领的分类匹配方法。通过整合子空间选择和数据聚类，提出了一种五官分类匹配方法。该方法包含两步迭代：(1)固定子空间不变，用k-均值聚类的方法产生类别的标号；(2)固定类别的标号不变，用线性判别分析的方法将样本映射到低维子空间进行子空间选择。通过反复迭代，样本在低维子空间进行有效聚类而避免了维数灾难，同时子空间自适应的调整到全局最优。并且将聚类结果应用于肖像画自动生成的五官匹配，取得了不错的效果。对于头发，本文提出了一种新颖的分类，匹配和线描画生成方法。从训练数据中抽取形状和表观特征并计算统计属性，根据这些特征和属性，学习到24种发型和模板。对于一幅给定的头发图像，采用层级删减的方法从24种发型中找到最匹配的模板。以此模板为原型，采用曲线拟合和纹理映射的方法，生成与给定图像对应的线描画。对于衣领，本文提出了基于形状上下文的模板匹配方法，通过比较衣领模板与衣领图像的原始简约图的形状上下文距离，实现衣领模板的快速正确匹配。最后，本文对所做的工作进行了归纳总结，并且结合本文的不足之处，分析和讨论了进一步的研究计划。