论文部分内容阅读
客观世界是多维度的,其中非常重要的一个维度,就是时间维度,在智慧城市中能体现时间维度是实时数据,包括互联网实时感知数据和物联网实时探测数据等。没有实时数据的支撑,在此基础上做出的决策往往科学性、实时性不足,导致决策不能有效指导实际生活工作。交通监控视频是智慧城市数据中重要的动态实时数据,通过对交通监控视频进行定位和拼接,使其在三维GIS平台中进行客观世界的动态还原,具有重要的应用和研究意义。交通监控视频的定位,其本质上对视频图像进行地理坐标的添加,在融入三维GIS场景中是关键环节。传统的视频影像映射模型多要求摄像设备本身兼具定位功能,如带有GPS、陀螺仪等,对于交通监控视频这类不具备定位设备的数据应用受限;视频拼接是图像拼接的外延,在场景监控、目标识别等应用中发挥着重要作用。传统视频拼接算法多要求视频间具有较大重叠区域且特征点匹配过程中只顾及图像几何特征,当处理交通监控视频时,会因不同摄像头之间重叠区域极小或主光轴之间夹角较大而导致无法拼接或图像变形较大。为解决这两个问题,本文研究了数字正射影像数据和深度学习语义分割理论,利用正射影像每个像素都具有位置信息,并且覆盖范围广的特点,在研究正射影像的搜索理论、深度学习语义分割理论和SIFT特征提取及匹配理论的基础上,提出一种基于图像语义分割的交通监控视频定位及拼接方法。首先,利用边缘角度二阶差分直方图算法自动识别多视频交汇区域的正射影像,并将其作为拼接背景图像;然后,基于全卷积神经网络和BP神经网络组成的多特征语义分割方法对正射影像和视频图像进行语义分割,提取图像中的交通专题语义;接下来,以交通专题语义作为约束进行特征点匹配,将各个交通监控视频匹配至背景正射影像,实现监控区域视频拼接的同时完成定位。采用山东省某市实际视频数据进行实验验证,结果表明对于重叠区域较小的监控视频,本文方法可获得较好地拼接图像,同时可有效提高特征点匹配的准确度,较好的完成定位任务。本文主要进行了以下工作:(1)研究基于边缘角度二阶差分直方图的正射影像搜索方法,总结出适用于检索交通交通监控视频对应区域的正射影像位置搜索方法。(2)研究基于BP神经网络和全卷积神经网络的图像语义分割方法,改进一种多特征深度学习的视频图像语义分割框架,并结合交通监控视频特点确定了适用于该视频的多特征深度学习语义图像分割方法。(3)研究结合视频图像语义的SIFT特征匹配的相似性测度,利用图像语义和SIFT特征联合进行特征点匹配,优化交通监控视频和正射影像进行特征点匹配的精度。(4)为了验证本文方法的有效性和合理性,利用山东省临沂市部分交通监控视频和正射影像等实际数据进行定位和拼接实验,设计了语义分割精度验证实验、特征点匹配可靠性验证实验和视频定位和拼接结果有效性验证实验,并与传统方法进行了对比。