随着计算机视觉的发展和逐步完善,目标检测与视线追踪技术的应用逐渐广泛,已经渐渗透到人们生活的方方面面,其重要性也日益突出,开始在众多领域占据极大的应用前景,例如人机交互、疲劳检测、航空交通等。本文是出于对操控员的监测以及预警展开的研究,操控员执行任务的效果受操控面板的影响至关重要,为了更加安全的执行操控面板,需要操控员对其实时状态进行监测,以及对于异常显示的情况要进行作出及时的响应。本文主要研究视线追踪中场景目标注视区域的信息提取,结合了视线追踪技术计算操控员视线的落点位置,利用卷积神经网络提取客观存在的目标注视区域的信息。通过操控员的视线落点和操控面板中仪表盘信息之间的匹配展开,本论文的研究内容如下。首先,我们需要对操控员的视线参数进行提取,在检测到人眼区域以后,就可以进行视线参数的提取工作。视线参数包括光斑中心坐标和瞳孔中心坐标,采用阈值化处理得到人眼区域的二值图,对二值图进行滤波处理及霍夫圆变换计算得到瞳孔中心坐标。然后,在视线估计过程中,本文采用的是由Yoo和Chung提出的基于交比不变性的空间几何模型进行注视点计算。该方法不需要进行初始标定操作,同时能够保持较高精度以及对头部运动具有较好的适应性。最后,操控员视线落点与仪表盘特征信息进行匹配,分析操控员注视落点在仪表盘中对应的像素区域。基于计算机模拟仿真技术,用计算机屏幕模拟操控面板区域,将识别并分割出的仪表盘区域与操控员视线落点进行匹配,用Mask R-CNN网络结构对仪表盘进行检测,提取到有效的仪表特征信息,当操控员视线落点与仪表盘对应的像素区域不相匹配时,会作出一些响应,比如语音提醒。本文结合了视线追踪和卷积神经网络对操控员身心状态进行监测、预警,旨在提升飞行员的选拔精准度和训练的高效可靠性。在进行了相应的模拟飞行训练试验后,本文提出的方法在训练上达到了不错的效果,这对于我国的航空事业有着较大的参考价值,提高了航空事业的安全性与可靠性。本文有效地实施也为操控员训练中的评价、选拔、监测与预警以及相关领域的研究等提供了新的理论方法和技术。