随着计算机技术和通讯技术的发展,传统汽车与人工智能结合的无人驾驶汽车也受到越来越多人的关注和研究。无人驾驶也称自动驾驶,面临着很多挑战,其中最为重要的就是安全问题。由于自动驾驶是无人驾驶,没有人为操控,通过电脑对路况信息的判断最后做出行车决定。因此,自动驾驶对行车安全的要求更高,而人车系统中行人的安全又是至关重要的。在自动驾驶中,行人识别、行人再识别和行人行为预测是人车系统安全的重要组成部分,并对自动驾驶的发展有着重要意义。行人是人车系统安全的重点观察对象和目标,因而对视频中行人检索、再识别、跟踪及行为分析成为人车系统安全的重要组成部分与关键技术。本文围绕图片、视频行人再识别以及行人行为预测三个问题开展了相关的研究工作,安排工作如下:(1)针对图片的行人再识别,本文提出了一种新的生物度量学习方法—基于人体骨骼相互学习的行人再识别(HSMLP-Reid)。人体骨骼互学习人再识别的目的主要是利用本文提出的结合全局骨架信息的新的行人局部分割方法来解决背景影响和局部姿态变化的影响。首先利用自底向上的方法估计行人的姿态和骨架,并在此过程中标记出行人的交接点。为了解决背景对行人再识别的影响,本文提出了一种新的局部分割方法—关节点分割法来对行人进行局部分割并进行局部块匹配。此外,通过自底向上的方法从行人二维骨架估计中定义关节距离来学习全局骨架信息,并进行全局骨架匹配。最后,为了提高模型的性能,本文使用基于生物特征识别的局部匹配和整体骨骼匹配进行互学习,分别训练分类损失和度量损失。(2)针对视频行人再识别,本文建立了一个三重金字塔模型来学习动作信息,用于基于视频的人的再识别。首先,将从三层金字塔模型中提取的动作信息集成到外观信息中。其次,利用三维卷积神经网络对融合后得到的融合特征进行处理,实现对人的再识别。三重金字塔模型将RGB图像分成R、G、B三个部分,然后将三重金字塔模型提取的三个部分的动作信息进行整合,得到完整的动作信息。在融合Ⅰ阶段,本文融合R,G,B行动信息成一个完整的人的运动信息。融合Ⅱ阶段,将行动作变化信息融合到外观信息,在操作处理信息时,可以补充整体的外观信息。并用三维卷积代替传统的二维卷积。本文还改进了三元组损失训练参数的方法,将三元组损失训练应用于视频行人再识别,更新网络参数。视频三重损失不仅包括视频间测量距离损失和视频内测量距离损失的总和,还包括视频间和视频内的动作信息损失和视频间和视频内的外观信息损失。通过与MARS、i LIDS-VID、PRID-2011三个视频行人数据集的准确率对比,验证了基于RGB三重金字塔模型的视频人再识别的良好性能。(3)针对行人行为预测,本文提出一种新的行人行为预测方法—基于网格划分骨骼的行为预测方法。该方法主要分为两个部分,首先使用自下而上的方法提取出行人的骨骼信息,规定左右肘、左右手、左右膝以及左右脚8个关节点作为提取行为习惯的关节点,并且通过学习8个关节点的距离度量特征和角度度量特征提取出行人的行为特征。对8个关节点分别对比前后帧的行为特征,判断出下一帧单个关节点运动类型的概率,通过对下一帧8个关节点运动类型的加权判断出下一帧行人的动作。为了更好的评估行人下一帧的动作,本文通过对行人进行网格划分并提取相应关节点的划分网格特征。对比前后帧的划分网格特征,判断出行人的运动方向以及运动速度。本文对基于图片、视频的行人再识别中存在的问题以及行为预测中存在的问题提出了相应的解决方案与算法模型,并通过大量的实验验证了这些算法的有效性。本文的研究成果将会推动无人驾驶、人车系统安全的进一步发展。