论文部分内容阅读
智能交通系统的建设与运行,可以提升交通服务质量和交通设施的运行效率,保障交通安全,减少交通拥堵。交通场景感知技术是智能交通系统的重要技术之一。基于视频的交通事件检测技术,已经发展出较为丰富的成果,并在工程中发挥较好的作用;但是,其在夜间等特殊场景下的鲁棒性还有待继续提升。其实,很多的交通视频监控工程都提供有音频信息,但是音频数据没有在交通事件检测中得到充分的利用。本文针对交通场景智能感知的需求特点,研究融合视频信息和音频信息的目标识别、事件检测等技术,有望提升交通场景的智能感知能力,进而提升智能交通系统的综合管控性能。本文首先对现有的视听觉融合感知技术相关理论进行了比较全面系统的梳理,探讨了图像处理、计算机视觉、语音识别、机器学习等领域的近期研究进展,并着重从声音识别、图像增强、图像识别三个问题展开研究,构建视听觉融合的交通场景智能感知技术框架。本文主要的工作及创新点如下:1、为了更好地研究夜间交通场景下的智能感知技术,通过实地调研和数据采集,创建了夜间交通场景下的交通视频数据集和声音数据集。2、对于车辆声音识别问题,提出了一种智能的基于MLCC特征和DNN模型的车辆声音识别方法,通过实验验证了该方法的可行性和优越性。3、为改善夜间能见度较低场景中的图像,提出了一种基于MSRCR改进的算法MSRCR-LR,该算法能大幅度提升原图的标准差和均值,提升对比度,同时较好改善了 MSRCR算法损失图像熵的问题。4、在夜间图像视觉特征提取问题上,重点研究了深度卷积神经网络,采用CNN网络模型提取高层视觉特征FC6。实验结果表明,相比较其他视觉特征,FC6层特征具有较好的分类效果。5、最后从数据融合角度出发,对交通场景下的三种实际事件进行了视听觉融合方案的研究分析。提出了一种基于视听觉信息特征级融合的事件感知技术方案,该方案在三种夜间交通相似事件识别问题上的正确率达到90%以上。实验结果进一步验证了此方案的可行性和优越性。