借助笔式交互接口绘制草图作为一种构思、表达及交流想法的方式,符合人的自然勾画习惯,便携灵活且易于控制,同时还具有更强的信息表述能力。然而草图存在的绘制随意性、信息模糊性与内容多样性等特点,使得准确识别草图这个课题目前仍然颇具挑战。通过对已有草图识别方法的调研发现,它们普遍依赖于手绘笔划输入此单一通道的信息。而用户绘制草图时协调发生的眼部运动等模态实际上也蕴含了对图结构起到提示作用的信息。于是,本文工作尝试将多模态引入草图识别,分析了与笔划同步采集的眼动数据并详细探究了如何将其应用到草图识别任务中,最终实现了眼动辅助的手绘流程图识别方法。本文的研究成果和主要贡献如下:首先,本文构建了一个较大规模的、格式开放的眼动-草图双通道数据库。库中容纳了于用户绘制流程图的过程中同步采集的笔迹数据及眼动信息,包括来自25名参与者的共225份样本,且库中草图样本均已完成标记并存储为InkML格式。此库不仅是本文研究眼动辅助的草图识别方法的基础,也可帮助其他研究者进行其他草图与眼动的交叉研究。其次,基于对注视点分布和瞳孔大小变化规律的分析,本文实现了眼动辅助的笔划成组方法。根据注视时长及瞳孔直径生成画布大小的眼动热点图,并在过滤低热度点后得到多个空间上分离的热区。然后从热区中心开始以圆形不断膨胀来寻找封闭区域。由此则搜索出了流程图中大部分非箭头的笔划组合。区域分割使得搜索组合的时间复杂度由O（2n）降为了O（mlogm）。对于剩余的部分未成组笔划,先根据距离聚类,再于各簇上使用回溯法以生成所有可能的笔划组合假设。最后,本文抽取了 20个草图特征并分别构建了随机森林和BP神经网络分类器。经过对比,最终选取随机森林分类器进行符号识别,所得准确率为95.8%。在整体识别时,我们结合应用了动态规划思想和草图的结构规则信息,最终取得了 95.3%的笔划级识别准确率和70.9%符号级识别准确率。评估结果表明本文方法达到了较高的识别准确率,并且在笔划成组的时间效率上取得了明显的提升。