随着汽车保有量的急剧增加,交通安全问题日益突显。驾驶行为建模是自主驾驶和车辆安全辅助驾驶的关键技术之一,对减少交通事故、提高交通安全具有重大的理论意义和应用价值,本文围绕基于视觉的驾驶行为建模的关键技术进行了深入研究。论文的主要工作和创新点如下：(1)提出了一种基于序列图像的交通场景三维重建方法。采用EM算法进行静态点集和基础矩阵估计,E步利用极线约束和基础矩阵检测交通场景中的静态特征点,M步根据静态点采用8点法估计基础矩阵；利用奇异值分解和绝对二次曲线约束估计投影矩阵；提出了基于PCA的交通运动场景点的重建方法,使用PCA确定轨迹基元,将运动场景点的轨迹看作是轨迹基元的线性组合,利用最小二乘法求得场景点的三维轨迹,实现交通运动场景点的重建。该方法省去了摄影重建的过程,大大减少了计算复杂度。实验结果表明了该方法的有效性。(2)提出了基于协方差描述子的交通场景理解方法。为了克服基于单一特征的交通场景分割与识别的不足,采用交通场景的运动结构特征、纹理和颜色特征,并利用协方差描述子进行多特征融合,以消除特征冗余以及不同特征数值悬殊对图像分割的影响；使用多类LogitBoost分类器进行交通场景分割与识别。实验结果表明该方法有效地提高了交通场景分割与识别的效果。(3)将视觉注意机制引入交通险情的检测,提出了基于视觉注意力模型的交通险情的检测方法。为了提高检测速度,采用半球形稀疏采样法减少了计算量；使用贝叶斯概率模型和高斯核函数对交通视频进行非参数显著性度量,分析视频显著性,采用多尺度显著图计算方法以提高检测精度。实验结果表明该方法能有效检测交通险情。(4)提出了基于贝叶斯模型的驾驶行为建模方法,以贝叶斯概率模型作为驾驶模型,根据交通场景和车辆自身的速度、位置信息,预测正常情况下的驾驶行为；利用稀疏贝叶斯学习方法对模型参数进行估计。该模型实现了直行、变道、加速、减速等多种驾驶行为的预测。实验结果证明本文方法有较好的预测性能。(5)提出了基于模糊规则的险情驾驶行为建模方法。根据驾驶人的经验,建立了7种情况险情驾驶行为模糊规则集,结合高斯函数和Sigmoid函数给出了混合型隶属函数,并利用C均值聚类法和梯度下降法对模糊规则模型参数进行估计。实验结果证明该方法能很好的描述人的驾驶行为,可用于各种险情的驾驶行为决策。