随着机器视觉和人工智能技术的发展,机器视觉辅助操控方法和技术受到了越来越多的关注并开始应用于机械臂操控领域。为了提高传统机械臂的作业能力,引入机器视觉技术,让传统的控制操作更加智能化。本文研究了基于改进残差网络的手势识别、对采集的骨骼关节点坐标信息进行卡尔曼滤波、空间向量关节角度信息计算、机械臂D-H建模以及机械臂硬件设计等内容。1)针对传统残差网络存在训练速度慢、鲁棒性差、泛化性差等缺点,本文提出改进残差网络结构。首先引入多重残差网络来增加残差单元中残差函数的数量,随着残差函数增多,网络也更具有多样性。在网络训练过程中,将残差块中不同残差函数分配给不同的GPU进行并行计算,从而提高网络的训练速度。其次,对传统的残差函数进行改进,引入ELU激活函数,同时使改进残差结构中既有含ELU的残差函数又含ReLu的残差函数,同时输入的信息通过两个残差函数的概率服从均匀分布,将并行求和计算方式转换为仿射方式,以此提高各分支网络的泛化能力。实验结果表明,改进的残差网络模型手势识别准确率相对于传统的手势识别准确率提升了 9.79%。2)针对传统的随机梯度下降优化方法存在收敛速度慢、准确率低等问题,本文提出基于动态调节学习率的综合梯度下降优化算法。首先,给网络模型加入预激活处理防止网络模型过拟合。然后,使用动态调节学习率提高网络的收敛速度同时抑制网络训练过程中出现震荡,综合梯度下降法可以提高手势识别准确率。最后,搭建改进残差网络结构,并用基于动态调节学习率的综合梯度下降算法进行实验,实验结果表明,改进算法的识别准确率提升了 6.16%。由混淆矩阵可以看出,改进模型对闭合和没有采集到手势等两类手势识别效果最佳,其次对部分张开、张开、停止等三类识别效果相对较佳;通过对比模型改进前后ROC和p-r曲线图可知,相对于传统残差网络改进后的残差网络其宏平均ROC曲线包围面积提升0.11,宏平均P-R曲线包围的面积提升0.2,验证改进的残差网络性能优于传统残差网络模型。3)针对Kinect2.0采集到的人体骨骼关节点三维坐标存在输出不稳定、抖动等现象,本文对采集的三维坐标信息进行平滑滤波处理。首先对设备内部代码参数进行调节,使设备在采集人体骨骼关节点数据时对人体手臂的运动轨迹设定约束。然后,对输出关节点数据进行卡尔曼滤波处理,使手臂关节点数据信息能够实时平稳输出,最后,将输出的数据信息进行空间向量计算,得到人手臂的各角度变化信息模拟出手臂的运动轨迹。实验结果表明,手肘角度为0°、90°、180°识别率在90%以上,当角度为30°、60°时识别准确率在87%以上。4)针对双臂机器人机械臂与机械手爪的控制问题,本文采用主从方式来控制机械臂及手爪的运动。首先,根据机械臂运动控制学理论和机械臂运动学分析理论,对所研究的机械臂各关节连杆进行D-H建模。然后,根据D-H参数计算,采用正运动学理论计算出末端执行器相对于基座的位姿变化,采用MATLAB仿真出右臂的空间运动范围,构建人手臂与机械臂之间的映射关系,根据人手臂运动过程中角度变化信息控制机械臂运动,根据人手势的信息来控制机械手爪的运动。最后,搭建实验平台,在双臂机器人上实现了基于机器视觉的机械臂跟随运动,单臂抓取、放下货物功能。