自动驾驶技术是目前汽车产业最热门的发展趋势之一。准确可靠的定位信息对提高智能汽车的主动安全和实现自动驾驶具有重要意义。但是,仅依靠全球导航卫星系统（Global Navigation Satellite System,GNSS）定位无法满足自动驾驶汽车全场景的定位需求,多传感器融合定位是实现自动驾驶车辆高精度定位的必然趋势。本文以双目视觉里程计为研究对象,提出了结合语义信息的双目视觉里程计,以提高双目视觉里程计在动态交通场景下的精度和稳定性。并把视觉里程计的估计结果与GNSS定位结果进行融合,在GNSS定位失效时,利用视觉里程计的估计结果继续实现全局定位。论文的主要工作如下:提出了结合语义信息的双目视觉里程计框架,通过YOLACT实例分割网络为图像中的像素提供语义标签,将图像划分为前景、背景区域,利用从背景区域提取的静态特征点,实现车辆自身的位置估计。实验结果表明,在动态交通场景中所提算法的精度明显优于ORB-SLAM2以及VINS-Mono。为了提高YOLACT网络在实际道路场景下的鲁棒性和泛化能力,建立了包含900张交通场景图像、6类常见交通参与者的本地实例分割数据集,对网络权重进行训练。此外,为提高算法的运行速度,利用深度学习加速工具Tensor RT对网络的推理过程加速,使推理时间减少了28.7%,提高了网络的实时性。为了提高视觉里程计的整体表现,将实例分割网络与ORB-SLAM2的前端视觉里程计进行整合。在此基础上,通过在线标定获取相机全局坐标以及朝向。为了提高最终的定位效果,提出了针对GNSS定位结果的异常检测策略。当GNSS定位正常时,通过卡尔曼滤波器融合GNSS与视觉里程计的定位结果;当GNSS定位失效时,利用视觉里程计继续实现全局定位。最后,搭建双目视觉实验平台,在多种常见的交通场景中对所提算法进行验证。实验结果表明,所提算法在复杂的交通环境中能够有效排除运动目标的干扰,在GNSS定位失效时,继续实现全局定位功能,表现出良好的精度和稳定性,在自动驾驶中具有较高的应用价值。