在车辆行驶环境下,行人和各类骑行者属于弱势道路使用者（Vulnerable Road Users,VRU）,具有多变的外观属性和随机的运动特性,相比于机动车驾驶员,VRU受到的保护有限。为了更好地保护他们,除了获得位置和类别信息外,还需进行历史轨迹的跟踪和未来轨迹的预测,以实现全面的感知。现有感知方法缺少面向各类VRU的研究,感知性能受限于复杂的道路环境,相关的检测方法易混淆不同类别VRU,跟踪方法易丢失运动变化快的目标,预测方法对环境信息利用不充分,导致最终运动预测的准确性和稳定性不足。针对上述问题,本文建立了面向VRU的目标检测、目标跟踪和轨迹预测一体化感知架构,并对VRU感知过程中涉及到的关键技术进行研究,包括基于深度神经网络的动态多目标检测、考虑自车运动补偿的在线三维多目标跟踪和基于序列编解码网络的多目标轨迹预测等。为实现各类VRU目标的联合检测,基于残差网络和特征金字塔的设计思想,建立适用于多类别VRU的“前处理-骨干网络-脖颈网络-头网络-后处理”深度神经网络检测模型。该模型集成了结构不确定性估计、多尺度融合、多层级分类和多分支学习等网络优化方案,在复杂行驶环境下能够快速定位和准确分类各种VRU动态目标,为后续的目标跟踪和轨迹预测提供可靠的检测结果。为提高复杂场景下VRU的多目标跟踪能力,在基于检测的多目标跟踪框架的基础上,提出考虑自车运动补偿的具有在线更新能力的三维多目标跟踪方法。该跟踪方法在目标检测结果的基础上,利用循环神经网络变体模型进行在线运动模型的学习,融入多级联的数据关联技术以及多状态的生命周期管理技术,并结合自车运动补偿优化3D位置,实现车载视角下多类别多目标的长时间稳定跟踪。为保障长时间内VRU的运动预测性能,在多目标跟踪结果基础上,提出融合多轨迹预测因子和序列编解码器的轨迹预测方法。该方法综合考虑运动、外观和交互特征的时空多线索轨迹预测因子,设计基于网络结构优化和多维损失学习的编解码器,学习历史序列到未来序列的映射,从而输出稳定可靠的未来轨迹。为验证本文方法的有效性,建立完备的VRU感知数据库并开展实验验证。结果表明提出方法不仅能实现多类别VRU目标的联合定位和分类,而且能实现历史轨迹的稳定跟踪和未来轨迹的有效预测,为智能车辆提供丰富而准确的感知信息。