本课题来源于企事业委托项目,负责研发虚拟演播室摄影机器人的视觉模块,主要实现摄影机器人对目标主持人的识别与跟踪的系统开发,其核心模块主要有人脸识别模块、深度定位模块与目标跟踪模块。本文首先对虚拟演播室下摄影机器人的工作空间需求进行分析,提出了一种轨道式摄影机器人,并对其结构与控制系统进行了详细介绍。本文对该摄影机器人进行了运动学分析,并对其进行了逆运动学求解。虚拟演播室下,除主持人固定外,其他嘉宾都具有很高的流动性,此时需要完成的人脸识别问题能够被抽象化为开放集上的人脸识别问题。本文在实现两种经典的人脸识别算法的基础上,对它们进行了实现并分析其优缺点,进而提出了一种基于YOLOv3与改进Res Net50网络的人脸识别模型。其改进的识别网络通过中心损失函数与Softmax损失函数进行联合监督训练,最终通过实验证明,该算法在开放集上,具有较好的识别精度与实时性,能够应用于摄影机器人的人脸识别模块。摄影机器人的目标跟踪离不开对跟踪目标的空间定位。本文首先对摄影机器人的摄像机成像模型进行了分析,并基于张正友棋盘标定法完成了摄像机的内参标定。本文基于级联回归树完成了对人脸的特征点检测,进而提出了一种基于瞳心距与相似三角形的深度定位算法。考虑到头部姿态对定位精度的影响,本文对算法做了进一步改进,引入某个标量衡量头部姿态改变并对瞳心距矫正,使得其能够在头部姿态改变时依然具有稳定鲁棒的深度定位精度。在对摄影机器人运动学分析与提出的人脸识别模块、深度定位模块的基础上,本文提出了一种理想状态下的摄影机器人目标识别与跟踪方案,并对跟踪目标的三维坐标公式进行了推导。基于跟踪目标的空间坐标与运动学逆解,即可求出理想跟踪状态下摄影机器人各关节变量。由于理想状态下的跟踪方案存在某些问题,本文基于虚拟演播室下的跟踪需求,预设目标跟踪边界框,根据目标偏移距离提供两种摄影机器人跟踪模式,并在实验中进行了验证。该跟踪方案跟踪精度较高,视觉画面良好,跟踪过程中摄影机器人的机械性能稳定。