论文部分内容阅读
水面无人艇是一种水面智能设备,其在执行各项海事任务或靠岸停泊时,需要实时感知周围环境的信息。而水面环境除了存在船只、浮标等具有目标性的物体,还存在岸体、码头等不具有目标性的物体,现有的基于目标检测或者海岸线检测的方法不能完整地解析出这些物体的信息。而语义分割是对图像像素级的分类,不受物体外观形状的影响,可以有效解析出水面环境中各类物体,为水面无人艇提供丰富准确的环境信息。因此,本文以无人艇应用需求为牵引开展了图像语义分割相关技术的研究。
本文提出了一种基于多向卷积的上下文信息融合方法。上下文信息是影响语义分割效果的重要因素之一,而基于全卷积网络的语义分割网络由卷积、池化等局部操作堆叠而成,通常缺乏足够的上下文信息。针对这一问题,本文提出了一种多向卷积的方法来融合上下文信息。与标准卷积不同的是,多向卷积不再只将卷积核固定在通道方向上,而是依次固定在高、宽和通道方向,然后通过融合各个方向上的卷积获取丰富的上下文信息。多向卷积在编码上下文信息时始终保持特征图大小不变,每个位置的上下文信息都是通过动态学习得到的,这样的上下文信息具有更强的适应性。同时,多向卷积也是轻量级的,配合特征图的转置操作,仅仅用少量的几个卷积层即可实现。本文通过大量的实验表明,多向卷积在Cityscapes和PASCALVOC2012两个标准语义分割数据集上性能均超过了现有的上下文信息模块。
本文提出了一种自动驾驶场景下的实时语义分割网络。自动驾驶场景通常是一种高分辨率场景,这时图像中远处的信息大部分是冗余的。现有语义分割网络基本没有考虑到这一特点,在网络中使用了额外的结构获取较大的感受野或全局信息,这无疑会带来更多的计算量,影响网络运行效率。因此,本文提出了一种自动驾驶场景下有限感受野的高效语义分割网络LRFNet(Limited Receptive Field Network)。LRFNet不再使用额外的结构引入全局信息或较大的感受野,在减少计算量的同时也避免了编码过多的冗余信息。LRFNet有两个子编码器,分别用来编码准确的空间位置信息和丰富的高层语义信息,并使用一个轻量级的解码器恢复图像细节信息。实验表明,在两个自动驾驶场景数据集Cityscapes和CamVid上,LRFNet在分割速度和准确率上都取得了很好的平衡,在实时语义分割网络中实现了最高的准确率和最快的速度之一。
最后,本文提出了一种基于语义分割的水面无人艇环境感知系统。该系统使用全景相机作为传感器,能够获取360°全方位的图像信息,经过语义分割算法后得到完整的场景解析信息,为水面无人艇的自主航行提供支持。在MaSTr1325和Tampere-WaterSeg两个水面场景数据集上的实验表明,使用语义分割的方法能够有效解析出环境中船只、水面、岸体等物体,为无人艇安全航行和执行任务提供丰富、准确的环境信息。
本文提出了一种基于多向卷积的上下文信息融合方法。上下文信息是影响语义分割效果的重要因素之一,而基于全卷积网络的语义分割网络由卷积、池化等局部操作堆叠而成,通常缺乏足够的上下文信息。针对这一问题,本文提出了一种多向卷积的方法来融合上下文信息。与标准卷积不同的是,多向卷积不再只将卷积核固定在通道方向上,而是依次固定在高、宽和通道方向,然后通过融合各个方向上的卷积获取丰富的上下文信息。多向卷积在编码上下文信息时始终保持特征图大小不变,每个位置的上下文信息都是通过动态学习得到的,这样的上下文信息具有更强的适应性。同时,多向卷积也是轻量级的,配合特征图的转置操作,仅仅用少量的几个卷积层即可实现。本文通过大量的实验表明,多向卷积在Cityscapes和PASCALVOC2012两个标准语义分割数据集上性能均超过了现有的上下文信息模块。
本文提出了一种自动驾驶场景下的实时语义分割网络。自动驾驶场景通常是一种高分辨率场景,这时图像中远处的信息大部分是冗余的。现有语义分割网络基本没有考虑到这一特点,在网络中使用了额外的结构获取较大的感受野或全局信息,这无疑会带来更多的计算量,影响网络运行效率。因此,本文提出了一种自动驾驶场景下有限感受野的高效语义分割网络LRFNet(Limited Receptive Field Network)。LRFNet不再使用额外的结构引入全局信息或较大的感受野,在减少计算量的同时也避免了编码过多的冗余信息。LRFNet有两个子编码器,分别用来编码准确的空间位置信息和丰富的高层语义信息,并使用一个轻量级的解码器恢复图像细节信息。实验表明,在两个自动驾驶场景数据集Cityscapes和CamVid上,LRFNet在分割速度和准确率上都取得了很好的平衡,在实时语义分割网络中实现了最高的准确率和最快的速度之一。
最后,本文提出了一种基于语义分割的水面无人艇环境感知系统。该系统使用全景相机作为传感器,能够获取360°全方位的图像信息,经过语义分割算法后得到完整的场景解析信息,为水面无人艇的自主航行提供支持。在MaSTr1325和Tampere-WaterSeg两个水面场景数据集上的实验表明,使用语义分割的方法能够有效解析出环境中船只、水面、岸体等物体,为无人艇安全航行和执行任务提供丰富、准确的环境信息。