随着社会经济发展,人们对产品的定制化需求日趋旺盛,对于以需求为导向的生产制造业,最显著的变化是多品种、小批量的产品需求快速增长。于是,工业制造的生产方式亦随之改变,作为智能制造核心装备的工业机器人需要满足柔性定制作业的要求,因此,兼具柔性和智能性的人机协作系统成为工业机器人技术应用的重要发展方向。在人机协作系统中,存在复杂、动态的非结构化障碍物,需要机器人能够感知环境和目标信息,并根据任务要求作出相应决策,以快速、安全和可控地执行作业任务,而其中涉及的视觉感知和运动规划技术是机器人柔性化、智能化的关键。因此,针对人机协作等非结构环境中视觉感知和运动规划问题,本文的主要研究内容如下:首先,针对简单的纹理、颜色等二维图像信息难以为机器人在品种多样、来料无序的非结构化工业环境中提供足够的作业信息,基于视觉传感器获取的RGB-D信息,提出一种融合语义分割和点云配准进行目标物体位姿估计的方法。针对全卷积神经网络模型分割结果不精准的问题,引入带洞卷积层对全卷积神经网络进行改进,并基于预训练模型微调技术在自制数据集训练改进的网络模型。然后,利用改进式全卷积神经网络对彩色图进行语义分割,并结合深度信息提取目标工件的点云数据,通过与初始点云进行配准,评估出当前工件的相对位姿,为后续运动规划提供目标位姿信息。最后,实验结果证明所述位姿估计方法的实用性。其次,基于目标物体位姿估计信息导引的机器人自主运动规划是机器人智能化的重要体现,因此,面向人机协作过程中静态非结构环境下的机器人自主运动规划问题,提出一种启发导向式快速扩展随机树运动规划算法。针对经典快速扩展随机树算法存在的收敛速度慢、路径成本高的问题,首先,在随机采样点生成阶段引入目标导向性概率阈值,增大其向目标节点扩展的概率,加快算法收敛速度。然后,在扩展树新路径生成阶段,基于启发式图搜索算法,筛选使运动成本最优的采样点及路径,仿真实验结果表明改进的算法效果显著。最后,搭建面向杂乱工件场景的机器人智能分拣实验平台,验证改进式算法在实际非结构化工作场景中的实用性。再次,针对动态非结构环境中的人机协作安全性问题,研究基于多视觉感知的机器人在线轨迹规划方法。首先,提出一种基于多深度相机信息融合的环境建模及更新方法,通过离线方式建立多相机深度图像与机器人工作空间三维栅格映射关系模型,结合在线阶段的实时环境信息,快速确定机器人工作空间内三维栅格的占据状态,实时评估机器人与障碍物之间的最小距离。然后,基于反应式避障策略改进人工势场法的势场力,并将其转化为机器人关节速度,从速度层面控制机器人执行避障轨迹。同时,为了兼顾动态避障响应速度和作业效率,提出一种基于障碍物的相对位置及速度的避障轨迹调整策略。最后,设计搭建协作机器人、双全局深度相机验证平台,开展实时避障轨迹规划实验,验证动态避障方法的有效性。然后,针对反应式局部避障算法路径成本高以及现有的全局运动规划方法实时性差的问题,提出一种满足完备性和实时性要求的路径重规划算法。首先,基于运动基元法和层级结构法改进动态路图法,通过离线方式建立构型空间内机器人位姿与工作空间内三维栅格的碰撞映射路图。然后,基于多深度相机信息融合的环境建模方法,在线更新三维栅格的占据状态及对应的离线碰撞映射路图,并结合启发式图搜索算法,在更新的碰撞映射路图中重新规划运动路径。最后,通过实验验证所述运动规划方法的有效性。最后,针对非结构化工业现场对智能化、柔性化机器人视觉感知与运动规划的需求,设计了人机协作进行工件涂胶并安装密封条的综合模拟实验,首先根据作业内容及工艺要求规划人、机器人的作业工序。然后,依次开展面向杂乱工件智能分拣任务的位姿估计实验,面向人机协作的静/动态非结构环境下机器人运动规划实验。最后,通过实验结果验证位姿估计的精确度和运动规划算法的有效性。综上所述,面向人机协作过程中涉及的视觉感知和运动规划问题,首先研究在多品种工件杂乱堆叠形成的非结构环境中对作业对象进行位姿估计的方法,在此基础上,进一步深入研究面向人机协作场景的环境感知、建模和机器人运动规划方法,实现机器人在静/动态非结构化工作环境中的安全运动。这对于提升人机协作水平,进而提高机器人的生产效率和生产质量具有重要的作用和意义。