随着传统产业的智能化升级,越来越多的智能化设备应用到工业领域中,如智能仓储物流系统使用移动机器人配合机械臂实现物料的分拣与配送。在此类非结构化环境下,需要为整个系统增加视觉感知能力来保证工作的安全开展。本文针对存在移动机械臂的双机械臂协作场景,提出了一种基于RGB相机对移动机械臂进行空间位姿估计与短期运动预测的深度学习方法,并结合相应的从机械臂避碰策略,实现了双机械臂安全协作任务。本文方法的具体内容如下:（1）针对机械臂空间位姿估计任务,提出了一种基于真实机械臂的数据集快速构建方法,该方法使用自动化标注,可以显著节省数据集标注成本。每个数据样本中包括真实机械臂的RGB图像、深度图像、关节角度数据以及定义的关键点的像素坐标。数据集结构清晰规范,便于数据集的后续扩展。（2）在机械臂数据集的基础上,提出了一种分阶段的机械臂空间位姿估计方法,能够基于RGB图像实现机械臂关键点空间位置的实时估计。该方法主要分为目标检测、2D姿态估计、空间位姿估计三个阶段,可以克服端到端网络训练数据不足、相机参数隐式建模的诸多问题。本文首先基于YOLOv3模型实现了机械臂场景下的目标检测,然后改进了传统的位姿估计网络,实现机械臂2D关键点的准确提取与合理评价,最后借助运动学建模与优化算法实现机械臂空间姿态的估计。实验表明,在机械臂数据集上,各阶段方法的实时性与有效性都得到了充分的验证。（3）在机械臂空间位姿估计的基础上,提出了一种在关节-笛卡尔空间预测机械臂短期内运动趋势的深度学习方法。结合双机械臂协作场景,提出了从臂避碰策略,实现非结构化环境下双机械臂系统的安全协作。该方法结合了机械臂运动学模型,将机械臂的运动预测任务转换到关节-笛卡尔空间下进行,降低了网络复杂度与学习难度。在机械臂位姿估计与运动预测的基础上,使用插值方法扩展了主臂障碍物空间,并提出了相应的从臂避碰策略。实验结果表明,模型对机械臂的运动趋势有准确的预测,同时仿真实验也验证了从臂避碰策略的合理性。（4）为了实际验证基于视觉信息进行移动机械臂空间位姿实时估计、运动预测以及双机械臂安全协作方法的有效性,本文搭建了一套包括移动机械臂的双机械臂协作平台,并基于ROS设计了对应的软件框架,其中主要包括移动机械臂控制模块、系统视觉感知模块以及从机械臂运动规划模块。最终实验结果表明,本文提出的基于视觉信息进行移动机械臂位姿估计与运动预测方法,结合从机械臂的避碰策略,可以安全的实现双机械臂系统的协作任务。