机器人与人共处、相互协作成为现代生产和生活中的迫切诉求,“人机共融”和“人机协作”的概念自然而生,至今已有多年。与人共享智能、具有共同行为、协作完成共同任务(智能共融、行为共融和任务共融)是其基本特征和要素,已成为国内外学术界的共识。人机共融的前提条件是人-机和平共处,即“安全共融”。虽然目前已有许多稳定和鲁棒的机器人控制算法,但是人机共融作业处于非结构化和非标准化的动态环境中,无法对其进行完备和准确地建模与解析,存在着系统的内部误差或者外部的异常,如人为碰撞、物体滑落和工具碰撞等。为了赋予机器人更长期的自治和更安全的人机共融环境,机器人必须进行实时多模态信息的融合建模,进而实现自身运动行为的精准感知(Introspection)和异常修复策略的学习。因此,本文对机器人多模态感知与学习进行系统深入的理论研究和实践探索,主要研究内容和取得的成果如下:(1)针对学习与泛化机器人复杂任务的问题,以机器人示范学习的理论为背景,提出了结合动态运动基元(Dynamical Movement Primitive,DMP)和有限状态机(Finite State Machine,FSM)把机器人的复杂操作任务分割成序列化的运动基元,即参数化的有向图描述形式,以提高操作任务的适应性与多样性。(2)针对多模态融合的问题,本文将此问题抽象为如何有效地建立与解析多维时间序列的概率模型,以隐性马尔科夫模型(Hidden Markov Model,HMM)为理论背景,考虑其在多维时间序列建模上存在着隐性状态数量的不确定性和隐性状态间高频转换的两个关键问题,会大幅度地消弱对时间序列的建模能力和时间的一致性(Consistency),提出了采用非参数化贝叶斯的粘性层级狄利克雷过程隐性马尔科夫模型(Sticky Hierarchical Dirichlet Process Hidden Markov Model,sHDP-HMM)对机器人操作任务过程中的末端速度信息、末端力/力矩信息、末端执行器的触觉信息及其相关的统计学信息(如:均值和方差等)进行联合建模的方法。(3)在多模态融合的基础上,提出了采用非参数化贝叶斯模型的机器人实时运动行为识别与异常监测的方法。首先,借助机器人操作任务的参数化描述,利用sHDP-HMM对机器人正常执行多次任务后各运动基元所产生的多模态数据进行建模。然后,通过对比实时观测数据的累积对数似然函数值的形式实现机器人运动行为的识别。最后,在运动行为已知的情况下,依次基于对数似然函数值、对数似然函数梯度值和隐性状态与对数似然函数值映射关系的三种不同异常阈值实现机器人异常监测。(4)在多模态异常监测的基础上,提出了基于非参数化贝叶斯模型的机器人多模态异常的多目标分类器方法。具体表现为:在异常事件发生时刻的前后按给定窗口的大小提取异常的样本,为各个异常类型学习sHDP-HMM模型,采用交叉验证的方法选择最优的模型;通过对比测试样本在各模型下的对数似然函数值之和实现异常分类。(5)在机器人的异常监测与分类的基础上,学习人类对于瞬时性和持续性两种异常事件的修复经验和意图,对应地提出了两种任务级的机器人异常修复策略:采用多项式分布对机器人瞬时性异常进行运动重做的修复策略;采用人为示范修复并参数化运动描述的方式对机器人持续性异常进行运动调整的修复策略。(6)综合以上的研究内容与成果,为了赋予机器人更长期的自治和更安全的人机共融环境,在传统机器人控制框架Sense-Plan-Act(SPA)的基础上增加了机器人感知(运动行为识别、异常监测、异常分类)阶段和异常修复阶段,提出了一个机器人多模态感知与学习的系统框架SPAIR(Sense-Plan-Act-Introspect-Recover)。该框架主要包括四个功能模块:1)机器人复杂任务的有向图描述;2)机器人运动行为的泛化与识别;3)机器人执行过程中的异常监测与分类;4)机器人异常事件的修复策略学习。