大量的社会心理学研究表示,视线通常在注意力分析和人际交流中扮演着重要角色。经过30多年的研究,研究人员提出了多种视线估计解决方案,也产生了具有高精度的商用系统。然而,大多数商用系统需要侵入式的专用硬件且使用场景受限。因此,低成本、非侵入式且适用于任何头部姿态的视线估计算法成为当前的主要研究方向。本文在彩色图像的基础上加入深度图像提高头部姿态估计的准确度、加入红外图像增加算法的适用范围,故提出了一种面向多数据源进行视线估计的方法。面向多数据源的视线估计是根据采集的深度图像、彩色图像和红外图像进行头部姿态估计和瞳孔定位,从而进行视线估计。视线估计的基础是准确的头部姿态与瞳孔位置,因此头部姿态估计与瞳孔定位为本文的研究重点。针对头部姿态估计问题,将基于几何的方法与基于学习的方法相结合进行头部姿态估计。在人脸检测和人脸对齐的基础上,提取彩色图像或红外图像的几何特征和深度图像的局部区域深度特征,再结合深度块的法线和曲率特征,构成特征向量组;然后使用随机森林的方法进行训练;最后,所有决策树进行投票,对得到的头部姿态高斯分布估计进行阈值过滤,进一步提高模型预测的准确度。针对瞳孔定位问题,在不同的数据源图像中采用不同的方法进行瞳孔定位。在彩色图像中,使用基于变形模板的方法进行瞳孔定位;在红外图像中,根据相机位置的不同,可以将图像分为亮瞳图像和暗瞳图像,分别在两种图像中使用不同的基于像素特征的图像处理方法进行瞳孔定位。针对视线估计问题,使用坐标变换法,通过分析头部姿态造成的全局视线偏移和瞳孔位置导致的局部视线偏移,将其全局方向与局部方向相结合进行坐标系变换,估计世界坐标系中的视线方向。综上所述,在研究视线估计当前算法和相关流程的基础上,通过提供的实验平台实现了提出的面向多数据源的视线估计算法,该方法经过在公开数据集和本地数据集上验证,在保证实时性能的前提下,可以较好的提高视线估计的准确性。