街景是二维平面地图的延伸,可以给用户提供足不出户看天下的体验。用户可以在家里对天下的美景进行浏览,在寻找特定地点时可以在街景中对附近的场景进行预先浏览。街景采集的数据主要是二维的图像和三维的点云,由特定的采集设备每隔一定的距离进行一次采集。这些原始的数据再经过拼接、色彩校正,细节增强等一系列后续的图像处理操作后,才能给用户提供良好的观看体验。近来,自动驾驶成为工业界和学术界热门的研究话题,高精度地图是自动驾驶中的关键技术。对街景数据进行图像分析可以提取高精度地图所需的重要信息。因此,街景图像的增强与处理是街景中重要的技术,是提供良好用户体验的关键,对自动驾驶也有重要的意义。与传统的图像相比,街景图像具体数据量大、分辨率高以及畸变严重等特点,因此传统的图像增强与处理方法不适用于街景图像。本文围绕街景图像的增强与分析,从街景图像的内容补全、场景内容分析等角度开展研究,针对街景图像增强与分析中一些亟待解决的问题展开研究。其主要工作和创新点包括:1.本文提出了一种忠于原图的图像补全方法。该方法能够自动找到和待补全图像相似的候选图像,通过一种内容敏感的图像变形方法,将候选图像变形到待补全图像上。传统的补全方法仅仅能够生成视觉上可接受的补全结果,而本文的方法能够生成忠于原图的补全结果。将该方法应用到街景图像中,可以对街景图像进行局部内容的更新,从而避免再次采集。2.根据全景图图像的特点,本文提出了一种专门针对全景图图像的补全方法。由于全景图中存在畸变,因此直接在全景图图像中使用传统的图像补全方法无法生成结构正确的补全结果。针对这个问题,本文提出了一种结构修正的图像变形方法,将全景图中畸变严重的部分通过这个变形进行一次投影,并在投影后的图像上进行补全。通过将补全后的结果反投影回原图像,最终可以得到保持图像结构的全景图补全结果。3.本文提出了一种交通标志定位优化的方法。针对交通标志定位不够准确的问题,本文提出了一种基于优化思路的交通标志定位优化算法。本文将交通标志的定位优化定义为一个图像分割的问题,该问题可以通过优化的方法去求解。使用本文的定位优化方法能够提升交通标志定位的准确度。4.本文提出了一种基于深度学习的交通标志检测与识别方法,该方法能够同时对自然场景中的交通标志进行检测和识别。该方法能够处理大图像中的小交通标志,召回率和准确率比现有的最好的物体检测和识别方法高。另外,本文还新建立了一个自然场景中交通标志的数据集,该数据集的质量要远高于该领域现有的数据集。