传统的跟随机器人系统中通常需要精心设计的特征和控制器来跟随特定的目标,且通常加入多种传感器以提高系统鲁棒性,具有硬件和设计成本较高、多传感器数据融合复杂等缺点,同时,未能有效避免因目标消失引起的机器人跟丢的情况。本文将深度学习（Deep Learning,DL）中的卷积神经网络（Convolutional Neural Network,CNN）及深度强化学习（Deep Reinforcement Learning,DRL）引入基于单目视觉的跟随机器人系统,前者负责跟随机器人和目标行人之间距离的估计,后者负责跟随机器人的方向控制。本文的研究目标在于降低跟随机器人系统的硬件和设计成本,提高跟随鲁棒性,减少传统算法中机器人跟丢情况的发生。在跟随机器人的方向控制方面,为加速DRL模型的收敛,采用“有监督预训练+模型迁移+强化学习（Reinforcement Learning,RL）”的架构。首先对基于卷积神经网络（Convolutional Neural Network,CNN）的方向控制模型进行有监督训练,使模型达到较高的方向控制水平;然后,将CNN模型中的先验知识迁移到基于DRL的方向控制模型中,使得DRL模型快速获得与CNN模型相同的方向控制能力,并借助RL机制进一步提升方向控制性能。实验结果表明,RL机制的引入使得模型的方向控制性能得到了进一步提升（目标混淆错误被纠正、机器人跟随距离更长）,且较少的数据和环境交互次数（12个回合）即可使得DRL模型完全适应一个新的环境。针对CNN方向控制模型的有监督训练,本文设计了一种数据集的自动化构造方法,采集1000～2000张图像后即可利用计算机程序自动构建出大规模模拟数据集（70万左右个数据）,大大降低了数据的收集和标注成本。实验表明,通过该方法构造的模拟数据集可以较好地模拟出真实环境的多变性和复杂性,具有很高的实用性。对于被跟随目标和机器人之间的距离控制,本文提出了基于CNN的距离控制算法。此算法整合了传统距离控制算法中的目标位置估计和场景深度预测步骤,避免了手工特征设计过程,降低了对系统和环境条件的要求,具有更高的灵活性。实验发现,本文算法可以在仅输入单目彩色图像时对目标行人和机器人之间的距离做出合理估计,以使机器人及时调整运动速度,从而保持合理的距离范围。实验结果表明,基于DL的跟随机器人系统可以较好地适应真实复杂环境中的光照变化、背景物体干扰、目标遮挡、行人干扰等挑战因素,且能有效避免传统算法中因目标消失引起的机器人跟丢情况。