近年来,利用计算机控制技术、人工智能技术和通信技术可以实现更好的交通容量和交通安全。智能驾驶系统中的车道偏离预警系统、智能巡航控制、车辆碰撞预警系统等功能,提高了车辆行驶的智能性,大大地减少交通事故发生,提高了交通系统的安全性。视觉感知是智能驾驶系统关键的技术之一,智能驾驶车辆所做的所有重要决策都依赖于对周围环境的视觉感知。基于感知结果,智能系统才可以进一步做出控制和操纵车辆的决策。本文主要利用机器学习和计算机视觉算法对感知环境数据进行处理,获得对行车道路环境的准确理解,包括车辆、行人以及交通标志检测等。论文的主要工作如下:（1）针对行车环境中目标尺寸差异较大的问题,本文在YOLOv3网络中引入了SPP（Spatial Pyramid Pooling）模块,设计了基于YOLOv3-SPP的道路目标（车辆、行人和交通标志）检测算法。根据训练集图像大小相应调整了网络分辨率,重新聚类初始锚框（Anchor Box）。同时调整网络检测类别个数,将多类别检测分类问题转化为在行车道路场景下针对车辆、行人和交通标志三类别检测分类问题。（2）为了解决交通标志容易受到光照、物体遮挡等因素影响造成识别精度较低的问题,设计了基于CapsNet的交通标志识别算法。阐述了传统卷积神经网络缺陷以及CapsNet网络基本结构,基于CapsNet结合Inception分支调整了网络结构。对交通标志进行数据增强等处理后输入网络模型中进行训练,并对网络训练参数做出相应的调整,使得模型在测试集上的精确度达到最优。最后,利用Python接口对不同框架下两个模块调用,完成车载视觉下环境感知算法设计,实现同时对车辆、行人和43类交通标志进行检测和分类的功能。本文设计的目标检测算法能够精确定位道路目标,在精度和速度上达到了很好的平衡。在德国交通标志数据集上,基于CapsNet的交通标志识别效果与传统卷积神经网络识别效果进行了对比。实验表明,基于改进CapsNet的交通标志分类模型识别率高达98.73%且收敛速度更快,在复杂环境下具有更高的鲁棒性和精确度。