开车时打电话会严重干扰驾驶员的注意力,使得发生车祸的风险比正常驾驶时高4倍以上。目前,对于驾驶员行车途中打电话行为检测的研究还比较少,主要集中在基于手机信号进行检测。由于很难分辨是驾驶员在打电话还是乘客在打电话,基于手机信号的方式会有很多误检。因此,本文研究了基于机器视觉的驾驶员打电话行为的检测,提出了两种应用于不同场景的驾驶员打电话行为检测方法,即基于车内摄像头的驾驶员打电话检测方法与基于车外摄像头的驾驶员打电话行为检测方法。基于车内摄像头的驾驶员打电话行为检测方法,利用安装在车内挡风玻璃上的摄像头采集驾驶员的视频数据,基于视频数据进行打电话行为检测。将驾驶员打电话行为分解为一系列满足一定时序关系的原子动作,使用与或图来建模打电话行为的层次结构以及原子动作之间的时序关系,通过统计解析的方法在驾驶员的视频中检测打电话行为。这种方法可以适用于安装在公共运输车辆(如公交车、长途客运车、出租车等)内,对驾驶员打电话行为进行监控,提高行车安全。基于车外摄像头的驾驶员打电话行为检测方法,利用安装在车外,如天桥、灯杆等位置的摄像头采集驾驶员的图像数据,基于图像数据进行打电话行为的检测。通过检测驾驶员的行车姿势和手部状态(手部位于头部中下部及手部姿态为抓握状)共同判断驾驶员的打电话行为。这种方法可用于交通部门对于驾驶员行车途中打电话这一违规行为进行取证,作为处罚依据。我们建立了驾驶员打电话行为的视频和图像数据集,通过所提出的方法进行驾驶员打电话行为检测。实验结果表明所提出的方法可以取得较高的检测率和较低的误检率,对不同的光照条件和背景变化具有较高的鲁棒性。