城市道路监控是监视道路交通安全、整顿城市治安与防范各种犯罪以及恐怖暴力活动的有效手段。以往的道路监控摄像头种类繁多,视频数据整合工作均由人工完成,需要配套大量专业技术人员。而今,随着机器视觉技术的发展、监控智能化的推进,在多项图像感知问题上,算法的性能已超越了人类的,并进入到了大规模工程应用的阶段,但综合应用尚在起步阶段。因此,本文旨在整合最新视觉技术研究成果,构建一套基于R-CNN(Regions with Convolutional Neural Network)的、可依赖不同制式监控摄像头的视频输入、能够实现人车同时检测并分别识别的方法。本文对现有智能监控、行人重识别、车辆号牌检测等技术领域进行了调研,构建了整体方案,将整个算法流程分为了三部分:目标检测算法,负责从监控视频中对行人车辆进行实时检测并提取出图像信息;行人重识别算法,对行人图像与数据库存图像比较进行重识别;车辆号牌识别算法,对检出的车辆图像,进行号牌识别。而后,对于三种算法本文进行了深入研究:目标检测算法,对比了Mask-RCNN与Light-Head RCNN算法并结合其他最新成果,对卷积核、网络结构等进行了改进,提高了算法性能,平衡了准确性与实时性;行人重识别算法,应用基于度量学习的方法,设计了相适应的损失函数并将人体解析算法与重识别相结合,在动态自编码方法的基础上提出了通用编码算法,使得算法针对环境、光线更复杂的情况下性能有所提高;车辆号牌识别算法,应用了弱监督不规则字符检测方法,并引入了硬注意力机制,同时生成车牌样本进行模型训练,并针对省份简称识别率低的情况,采用具体先验统计信息对分类器阈值加以修正,从而提高行驶车辆的号牌识别准确率。