基于穿戴视觉的人机交互涉及计算机视觉、人机交互、穿戴计算和认知心理学等多学科领域,主要研究以人为中心、可穿戴、人机协作的视觉计算与感知模式,旨在人、计算机和环境之间构建自然高效的交互和感知通道。该课题是计算机科学领域新的研究方向,不仅具有重要的学术价值,还有广阔的应用前景。本文主要研究基于穿戴视觉的人机交互技术,分别对虚拟触摸板交互、目标自适应跟踪和交互式视觉感知等问题展开探索和研究。我们首先设计和实现了一套穿戴交互系统,该系统是本文研究内容的实验平台。系统由穿戴计算机、立体视觉机、无线麦克和头戴显示器四部分组成。立体视觉机同步获取场景的灰度图和稠密深度图,并由IEEE 1394接口实时传输到穿戴计算机。无线麦克可实时获取穿戴者的音频数据。该系统基于立体视觉和语音可实现多种自然灵活的人机交互模式。穿戴计算环境下自然、高效的手势交互仍然面临诸多困难和挑战。受触摸板交互方式的启发,本文提出一种基于立体视觉的虚拟触摸板交互方法。该方法跟踪指示手势并检测指尖的触碰事件以实现类似触摸板的交互。这种交互技术以一种自然的方式对穿戴者的交互手势和随意手势进行判定,解决了视觉交互中的迈达斯触摸(Midas touch)问题。虚拟触摸板交互的关键技术是手势跟踪和指尖3D定位。为使跟踪算法适应穿戴计算多变的环境,本文基于ICONDENSATION框架融合手势的轮廓、深度和LBP(Local Binary Pattern)等多个特征以提高跟踪的鲁棒性。指尖3D定位问题被建模为计算手势平面与指尖成像直线的交点,解决了指尖区域深度数据缺失情况下的定位问题。实验结果验证了手势跟踪算法的有效性。区域圈取实验验证了虚拟触摸板交互方法的有效性和实用性。为适应穿戴环境下光照、视角、摄像机抖动和部分遮挡等因素的动态变化,本文提出一种快速的自适应目标跟踪方法。该方法采用HOG(Histogram of Oriented Gradients)和LBP特征描述目标表观特征并建立分类器,通过协同训练实现分类器的在线更新,有效解决了自训练学习方法的误差累积问题。为缩小目标搜索的状态空间,我们利用ICONDENSATION的运动模型和重要采样技术提高粒子采样的准确性和效率,并引入校正因子抑制虚假目标的干扰,从而提升了跟踪算法的鲁棒性和分类器更新的准确性。在两组标准测试集和两组自建测试集上的对比实验结果验证了本文所提出的目标跟踪算法的有效性。人的介入是穿戴视觉计算的典型特征和优势,具备以人机协同的方式实现视觉计算的条件。本文提出一种多模态的交互式视觉感知方法,利用人的知识和经验指导计算机快速建立/更新目标的视觉感知模型。当目标感知结果的不确定度超出预定阈值时,计算机主动请求穿戴者对识别结果进行评价或校正。多模态标注在通过指示手势圈取目标区域的同时采用语音识别获取其类别号。这种方法充分利用了视觉和听觉通道的互补性和可并行性,提高了物体标注的自然性和效率。为尽量减少人工干预的次数,本文采用自适应目标跟踪方法实现训练样本的自动收集。基于主动学习的思想,学习算法从训练样本的输入流中挑选包含最多信息量的样本(最近邻分类器给出的匹配置信度低于设定的阈值)用于构建感知模型。一种对旋转、亮度和对比度改变具有不变性的特征被选为目标描述子,以增强感知模型的判别能力。实验结果验证了多模态的交互式视觉感知方法的有效性。