机器人示教一直以来是机器人控制领域重要的一部分,在工业制造、教育等领域被广泛应用。但是目前针对人形机器人的示教再现研究游离于大众视野。这是因为目前的示教方法操作复杂、想要实现示教任务需要周期时间长以及操作者需要经过特殊培训才会操作等诸多问题。针对上述问题,该文提出了一种基于人体三维骨骼点提取的人形机器人示教方法。对输入视频中人物提取其空间中的各个骨骼关键点,确定三维坐标。计算空间角度,完成机器人输入参数的确定,进一步实现人形机器人的示教任务。这是一种完全自动的方法,不需要更多的复杂操作就可以实现机器人示教任务。因此本文以人形机器人为研究对象,以深度神经网络相关计算机视觉方法作为实现的核心内容。为实现人形机器人自动示教系统,进行了功能模块化的设计。并主要在以下各个方面进行了研究和设计:首先对视频中人物的检测,在这一部分中,我们通过对Faster-Rcnn,SSD,YOLOv3等一系列检测算法的研究,在实际视频中,结合实际应用,对上述方法进行了比较。结果表明,YOLOv3的工程实现能力更优越,实现复杂度要远低于Faster-Rcnn这种二阶段检测算法,在精度方面也能满足实际要求。在选取的目标检测算法的基础之上,对我们的跟踪算法进行设计,完成识别跟踪特定目标的任务。然后是针对二维骨骼关键点的检测,目前流行的方法有很多,比如OpenPose、AlphaPose、堆叠沙漏模型,这些算法的表现都很不错。本文在上述几种二维骨骼点检测算法的基础之上,结合本文研究实际需要,进行改进。通过横向比较,吸收优点。确立了以结合AlphaPose提出的整体检测架构,设计改进自己的二维骨骼关键点检测器,进行二维骨骼关键点的提取的算法流程。完成了对人体二维骨骼关键点的提取。接着利用前面得到的二维骨骼点进行三维骨骼点的预测。这部分是本文研究重点,针对三维骨骼点的预测,本文对比了常用的方法,例如使用深度相机,直接预测骨骼点三维信息。后续比较现在流行的深度神经网络直接预测的方法以及在本文中使用的根据二维骨骼信息来预测三维信息的方法。通过比较,本文吸取了在自然语言处理领域的成功经验,在预测三维骨骼点信息的时候,不利用图像信息,只是利用二维骨骼点的坐标值,通过一维卷积神经网络进行三维估计,同时针对人体三维数据集数量不足的问题,又提出了半监督学习的方法。最终实现人体三维骨骼关键点的提取。通过处理,我们得到视频每一帧图像中特定人体的三维骨骼点信息后,计算投影矩阵和各个躯干之间的角度信息,根据这些角度信息,进一步转化为机器人控制模型角度信息。我们可以通过机器人控制上位机将计算的到的角度信息下载至机器人控制模块,让实际角度和人形机器人的舵机角度对应,进而完成机器人控制部分。