论文部分内容阅读
机器人通过模拟人手完成复杂的类人操作任务,在航空航天、仓储物流、医疗、军事、手势操控安全驾驶等领域发挥着越来越大的作用。其中,多指机械手是机器人实现灵巧操作的核心部件,深入研究人手动作捕捉和人手动作识别是仿人多指机械手类人操作研究的基础。在国家自然科学基金项目“多模态人手手内操作技巧研究及其在仿生机械手上的应用(51575412)”、欧盟项目“欧盟第七框架计划:DREAM项目(611391)”、国家自然科学基金项目“不确定环境下基于多源信息融合的机器人灵巧手稳定操作机制研究(51575407)”等的资助下,展开基于多模态感知的人手动作捕捉与识别研究。主要工作和研究结果如下:(1)针对人手灵巧操作的研究主要体现在一些简单动作,缺少对人类所擅长复杂动作的深入研究,比如人手手内操作、双手协调、多次操作等问题,以人手为研究对象,提出了人手对物体的灵巧操作机理;通过分析人手自然结构,研究了人手在面对不同操作任务和不同物体时所采取的接触模式与操作模式,抓取点布局以及相应的力封闭性;根据人手与物体之间的运动模式,归纳了人手与物体的交互方式,提出了一种人手动作分类方法,并分为简单动作和复杂动作,为人手动作捕捉与识别奠定基础。(2)在人手简单动作捕捉方面,针对单一感知技术获取人手动作信息的局限性,采用接触式多模态感知技术,构建了人手动作多模态数据采集平台,主要包括表面肌电信号捕捉系统、数据手套和手指压力感知系统,同步获取人手操作过程的肌电信息、手指角度轨迹和力信号等多模态数据;提出了人手动作的捕捉方法,设计了人手简单动作集,选择受试人员,获取了人手简单动作的原始信号,经高速数字信号处理器处理后同步上传至上位机;提出了一种基于阈值的动作分割方法,得到了经过分割后的原始信号;采用基于经验连接函数的斯皮尔曼等级相关,分析和研究了人手手指轨迹、接触力和SEMG等3种信号的相关性,验证了不同信号之间的关系对人手动作完成产生的影响;采用时域特征提取方法,提取原始信号的6种代表性特征,构建了人手简单动作的特征样本库。研究结果为人手简单动作识别提供原始数据和特征样本库。(3)在人手简单动作识别方面,针对支持向量机多分类方法的多类不可分区域、误分、拒分、误差积累等问题,提出了基于ADAG-SVM的人手简单动作识别方法和仿真试验方法,完成了仿真试验,从感知技术、识别方法、受试人员等方面,验证了基于ADAG-SVM的人手简单动作识别方法的效果,平均识别率达到了94.57%,相对识别率最高。将提出的基于ADAG-SVM的人手简单动作识别方法应用到车辆驾驶辅助手势识别中,通过系统框架设计、车载手势动作捕捉、特征提取以及试验结果分析,7种手势的识别率都达到了94%以上,验证了基于ADAG-SVM的人手动作识别方法较好的识别效果,以及基于车载视觉的手势识别系统的可行性。(4)在人手复杂动作捕捉方面,针对非接触式多模态感知技术应用于人手复杂动作识别中,存在2种及以上非接触式传感器的联合校准问题,采用混合式多模态感知技术,以Kinect和SEMG作为硬件基础,构建了人手复杂动作多模态数据采集平台,提出了人手复杂动作捕捉方法和试验方法,设计了人手复杂动作集,挑选了具有代表性的受试人员,获取人手复杂动作的时域信号和3D图像的原始信号;提出了基于人手复杂动作的图像分割和特征提取方法,提取了手部区域图像特征信息,与人手复杂动作时域信号的特征样本数据共同构成了人手复杂动作的特征集。研究成果为人手复杂动作识别提供原始数据和人手复杂动作的特征样本库。(5)在人手复杂动作识别方面,选用ML(Marquardt-Levenberg)人工神经网络算法,提出了基于ML的人手复杂动作识别方法和仿真试验方法,完成了仿真试验,从感知技术、识别方法、受试人员等方面,验证了本文提出的基于ML的人手复杂动作识别方法的效果。仿真结果表明:基于ML的人手复杂动作识别方法易收敛、计算速度快,平均识别率为95.10%,优于单一感知技术的识别效果。本文完成了基于多模态感知的人手动作捕捉与识别研究,在理论研究、计算机仿真和试验平台搭建进行了有益的探索,为实现仿人多指机械手的类人灵巧操作和推广应用奠定了一定的理论和技术基础。