近年来,我国面临的道路交通安全形势异常严峻,每年发生的道路交通事故和由此造成的人员伤亡非常突出,特别是在人口密集城市中的公交车造成的交通事故后果非常严重。目前公交车驾驶员打电话、手离开方向盘、疲劳驾驶等行为时有发生。现有的识别方法主要通过事后以人工方式查看随车的视频监控录像来识别驾驶员不安全操作行为或潜在的安全隐患,工作量大、费用高、实时性低。借助Kinect传感器可以获取彩色图像和深度图像数据,设计并实现双手离开方向盘、接打电话、行车中长时间左右转头和抬头低头4种不安全操作行为的检测算法。本文主要完成的工作如下：提出了一种基于深度信息的公交驾驶员双手离开方向盘和打电话操作行为识别算法。该算法首先采用背景差分法检测出驾驶员区域,然后采用基于深度信息的骨骼定位方法来检测出驾驶员的手和头部区域,接着分析骨骼运动信息、来定位驾驶员的手部动作,同时辅助肤色模型实现驾驶员手部的精确定位,进而识别出驾驶员打电话或双手离开方向盘不安全操作行为。实验结果证明骨骼与肤色模型结合的方法可有效地避免骨骼定位时关节节点重叠出现的抖动以及肤色检测时光照强度等外部条件造成误检的影响,提高了识别的准确度。设计实现了一种基于深度信息的公交驾驶员行车途中长时间左右转头和抬头低头行为识别算法。该算法首先根据骨骼定位和肤色检测结合的方法检测出驾驶员头部区域,然后采用深度图像、彩色图像与AAM算法结合的方法获取人脸3D信息得到面部特征点,接着分析鼻尖、眼睛的运动方向来判断头部动作,从而识别出驾驶员行车途中左右转头或抬头低头不安全行为。实验结果证明该方法拥有较强的鲁棒性和实时性,可以达到预期的效果。