随着我国经济的飞速发展,机动车保有量连年递增,汽车“电动化、智能化、网联化、共享化”等新概念也日益受到市场的认可,并由此逐渐孕育出交通新业态。安全是道路交通永恒不变的主题,交通事故往往造成严重人员伤亡和经济损失,对社会产生恶劣负面影响。行人作为道路交通的重要参与者,是“人-车-路-环境”道路交通系统要素中的易受伤群体,极易暴露在人-车冲突的交通风险中,尤其在城市道路交通环境下,行人往往以群体的形式存在,一旦发生人车冲突事故,更易造成群死群伤的惨烈后果。随着“交通强国”国家战略的深入落实,全国范围内以“车路协同”为核心思想,升级改造城市道路交通智能化进程也在有条不紊地推进。研究基于车路协同框架下,利用路侧视频监控设备,实现7×24小时不间断的行人智能感知、行人跟踪和行为预测,进一步通过车-路信息交互,提高途经车辆对城市道路上行密集人群的感知灵敏度、感知有效度,并做出更合理的驾驶决策,对缓和乃至消解潜在的人-车冲突、增强城市道路交通安全水平具有重要现实意义。行人群感知和行为预测是智能交通调度与管控、智慧城市安防等方面的重要组成部分。我国主要城市道路交通监控视频设备与系统广泛分布,配置情况良好,然而尚存问题亟待解决,具体包括:1)多数路端视频监控设备的智能化水平仍显欠缺,设备仍以采集监控场景中的实时状态为主,需通过云端或人力的介入,以实现视频内容的解析和分析,难以更好地满足交通、安防等领域突发、动态的应用需求;2)所采集的视频监控数据利用率低,对大量收录采集实时监控数据,相关研究工作,如信息挖掘、特征提取及数据驱动的建模等,尚处于起步阶段;3)基于视频和计算机视觉方法,对密集场景、夜间弱光等环境下的行人群目标感知准确率较低,技术上有待优化。基于上述分析,论文聚焦基于路侧视频单元的行人群体运动智能感知,考虑融合路侧视频监控所采集的数据特点,基于深度学习原理,以城市道路交通路侧端视频监控为研究对象,研究工作围绕包括行人多目标检测、跟踪和轨迹预测建模等关键技术展开。主要研究内容有:1)构建基于Center Net目标检测网络的改进型密集场景行人目标检测模型DSP-Crowd Net,在此基础上,进一步考虑一种视频监控场景本征恒常性信息特征,设计夜间行人群感知模型Ei-DSP-Crowd Net,并对其感知结果以可视化评估分析,证明了其在夜间行人群感知方面的有效性。为改进模型对密集行人目标感知能力,根据视频监控数据集所采集的图像序列信息,优化行人目标检测模型对人体形态特征的感知敏感性,提升目标检测的效能。同时,为应对夜间行人目标检测的问题,引入背景建模技术,融合基于语义分割模型Unet Plus+和视频监控背景恒常性特征的EFE、EFR分支模块,在视频监控场景中,实现夜间低光照条件下行人群体的感知。2)解析和提取基于城市道路路侧视频监控的行人运动场景语义特征。采用所构建的DSP-Crowd Net行人群感知模型,将其作为行人群多目标跟踪的信息提取工具,并结合Fair MOT框架,跟踪视频监控场景下行人群的过街行为,建立行人群运动特征描述子,引入一阶协方差滤波CFODI算法,剔除监控场景中的准静止行人轨迹,减少轨迹数据的噪声。设计基于概率采样的行人源点和消失点场景语义提取模型,挖掘所提取的行人轨迹簇数据特征,采用DB指数和S指数,确定了视频监控场景中行人群运动场景语义信息。设计面向视频监控录像提取的密集行人群轨迹数据后处理算法ATSSW和ABTDS,实现误匹配轨迹识别、分割、清洗,构建适用于密集拥挤场景下行人群轨迹自适应数据压缩和提纯模型。3)构建基于视频监控行人运动场景语义的行人运动预测模型DSP-GCPP,同时,考虑视频监控中行人对交通场景语义特征信息的感知与交互,构建数据驱动的行人轨迹预测模型SPA-DDTNet。其中,DSP-GCPP模型进一步考虑轨迹自适应压缩和提纯中所反映的轨迹簇特征,定义和划分语义信息空间,将满足不同场景语义特征的轨迹,分别归纳为不同的行为模式,各行为模式的特征将以高斯链的方式量化和存储,在预测时根据观测到的行人目标轨迹片段,通过贝叶斯后验概率原理,合理估计行人目标所述的行为模式。DSP-GCPP模型主要是对行人行为的长期趋势性预测。SPA-DDTNet模型考虑行人与道路交通环境的交互作用,对行人的期望目的地进行概率分布建模,把行人目标短期内的运动轨迹预测问题转化为期望抵达的目的地的概率分布估计问题,实现行人目标轨迹的实时短期预测。