随着科技进步和社会发展,智能驾驶技术应运而生。环境感知是智能驾驶的基础前提,为车辆提供正确的视觉信息。行人作为交通环境中的重要参与者,其动作灵活多变,极易造成不必要的交通事故,且行人的运动状态(位置、速度和加速度)影响过街意图,结合行人的运动状态和其他影响因素的情况下,可以对其过街意图进行预测,避免不必要的事故发生。因此,本文主要从行人及其头部方向的检测、行人跟踪及其运动状态估计和行人过街意图预测这三个方面展开研究。1、行人及其头部方向检测。基于深度学习平台Caffe,搭建Faster-Rcnn和Fast-Rcnn网络框架,采集大量包含道路行人的场景图片,利用LabelImg对场景图片进行标签文件标注,制成样本集,对网络进行训练,得到检测行人和其头部方向的网络模型。比较不同网络框架组合不同特征提取网络的检测效果,Faster-Rcnn+VGG16组合的检测效果最好,整体准确率接近90%。2、行人跟踪及其运动状态估计。建立颜色分布模型,将颜色分布转化为粒子滤波,与基于边缘的运动图像特征相结合,利用巴氏距离更新粒子滤波计算的先验概率,达到跟踪行人的效果且跟踪效果良好;基于常加速CA模型,建立车载相机的前方行人运动状态模型和量测模型,确定运动状态的系统矩阵、噪声矩阵和状态转移矩阵,利用粒子滤波跟踪模型达到运动状态估计的目的,实现行人横纵向的速度和人车之间横纵向距离的良好估计。3、行人过街意图预测。在综合考虑各种行人过街因素的条件下,最终确定节点变量参数并建立基于贝叶斯网络的行人过街意图预测模型。通过结构学习确定各节点变量之间的关系,利用统计产品与服务解决方案软件(Statistical Product and Service Solution)和贝叶斯网络工具箱(BNT)中的函数Tabular_CPD对数据进行相关性分析和先验概率初始化,通过参数学习得到的各节点变量的条件概率表并将其和样本数据得到的概率进行对比,最终利用联合树推理算法得到各节点变量对行人过街的影响,在给定数据后利用所得模型进行推理得到行人过街概率,且结合实际经验可知推理得到的过街预测概率合理,符合实际要求。4、单目测距验证实验。实验目的是验证相机在不同安装高度时行人距本车车头距离的准确性和检测模型检测行人所得到矩形框的准确性。对实验平台所采集的行人进行检测,通过颜色分割提取所检测到的行人矩形框的分割效果图,并获取矩形框底边中点的像素坐标,根据小孔成像模型和拟定解决方案求得行人距本车车头的距离,在实验中将相机的高度安装为不同的值,并对车载相机采集的图片进行检测,将最终得到的计算距离值和真实测量的距离值进行比较,从而判断安装高度和检测模型对测量距离造成的误差。最终得到像素误差所导致的距离误差相对较小而高度是测距的主要误差,且相机在车内安装高度在1.36m时的误差相对较小。