无人自主系统（Unmanned Autonomous Systems,UAS）是无人车、无人机等无人自主设备在现实场景中平稳运行的重要支撑系统,已广泛应用于社会的各种生产和生活场景,例如交通运输、应急救援、航空拍摄等。因此,实现无人自主系统面向无人车视觉场景和无人机视觉场景的感知与理解具有非常重要的理论意义和应用价值。为了实现无人自主系统对无人车视觉场景和无人机视觉场景的感知与理解,本文研究了无人自主系统的智能感知模块,并设计了一个对场景进行多维度感知理解的技术方案,即将场景理解与感知任务分为语义分割、目标检测和深度估计及目标距离测量等三个相关子任务,进而实现对场景的语义信息和目标的位置信息、深度信息以及距离信息等的获取,从而为无人自主系统提供可靠的场景信息。虽然国内外学者针对这三个子任务的研究取得了一系列成果,但仍然存在以下问题:1)现有基于无人车视觉场景的语义分割算法往往无法兼顾实时性和准确性;2)基于无人机视觉场景的语义分割任务的基准数据集较少,尤其是高分辨率的无人机视觉图像数据集;3)在目标检测方面,现有算法对视野受限区和边界区的检测效果较差;4)目前深度估计模型在边缘以及细节处精度较低,给距离测量带来巨大的挑战。通过深入分析与总结现有算法的不足和挑战,本文开展了以下四个方面的研究工作:（1）实现了无人车视觉场景的语义分割。本文提出了面向无人车视觉场景的轻量级语义分割模型,即基于非对称瓶颈模块的语义分割算法。为了追求更快的模型推理速度,该模型摒弃主流的编码器-解码器结构,采用只包含编码器的网络结构,并结合了空洞卷积、深度可分离卷积以及二分支结构等模块。通过在Cam Vid数据集和City Scapes数据集中实验,验证了本文提出的轻量级语义分割模型能够在保证准确率的情况下实时地完成语义分割。（2）实现了无人机视觉场景的语义分割。由于目前面向无人机视觉场景语义分割的数据集较少,所以本文依据类内差距大、类间差距小的原则制作了一个高分辨率的无人机视觉图像数据集。以该数据集为基准,本文提出了基于UNet的改进算法。改进算法的最大特点是将用于特征提取的卷积块替换成残差模块,加深网络结构,在防止梯度消失的同时可以使网络学习到更深层次的特征,有利于提高图像分割精度。（3）实现了无人车及无人机视觉场景的目标检测。针对目标检测中存在的错检、漏检情况,本文在YOLO v3算法的基础上进行改进,具体包括聚类最优的先验框、重构预测框过滤算法等。与原始算法相比较的话,改进算法不仅可以检测到简单环境中的目标物体,同时可以在复杂环境中实现目标检测,并且改进之后的算法对小目标物体更加敏感,比原始算法有更低的漏检率和误检率。（4）实现了无人车视觉场景的深度估计和目标距离测量。本文创新性地提出在深度估计的基础上进行目标距离测量。在无人车视觉的深度估计和目标距离测量研究中,首先提出了基于无监督学习的深度估计算法,通过深度估计网络输出深度图,然后结合无人车视觉场景中目标检测获得的检测框,使用聚类的方法选择最能代表目标物体的深度值,进而利用深度值与实际距离的关系进行距离测量。其中本文的深度估计网络使用双目图像进行无监督训练,无需输入图像的真实深度信息。综上所述,本文以计算机视觉技术研究为基础,探索了基于卷积神经网络的场景感知与理解算法在无人车视觉场景、无人机视觉场景上的应用和优化,为解决无人自主系统的多任务需求提供了新思路。