面对复杂场景时,人类会调用多种感官去感知并搜寻目标物体,进而完成各种操作。同样对于机器人而言,当处于非结构化的现实环境中时,仅仅依赖单一模态很难完成复杂的感知操作任务,例如仅视觉条件下无法分辨物体的软硬度及纹理。为了提升自身的感知能力,智能机器人需要在理解人类意图的基础上,利用多源传感器（深度相机、声音传感器、触觉传感器等）构建的多层次感知通路捕捉物体的异构模态信息,并结合高性能的信息处理中心和高灵活度的操作系统来执行操作,从而建立对物理世界的丰富理解。论文依托于国家重点研发计划“智能机器人”专项“人-机器人智能融合技术”,立足于提升机器人的感知操作能力,提出了一种结合语言、视觉、听觉和触觉的机器人多模态主动感知操作方法,机器人通过该方法能够解决单一模态感知能力不足的问题,实现感知互补,并在实际场景中快速、有效的完成对目标物体的探索感知与抓取分类。本文主要研究工作概括如下:第一,从机器人的感知操作任务出发,提出了一种基于仿人机械臂的多模态主动感知操作方法。区别于传统机器人,智能机器人需要利用多源传感系统收集异构模态信息,并结合主动感知技术完成探索,从而实现对感知任务的递增式学习。在此基础上,提出了三种多模态联合感知模型,用于适应不同的感知任务需求。随后,定义了各感知通路的算法模型,并针对触觉感知通路提出了双分支构型的触觉图像识别算法Dbs Mnet,用于提高触觉感知的泛化能力。第二,为提升人与机器人之间的交流协作能力,设计了基于自然语言指令理解的人机协同交互系统,并为人机交互创建了丰富的操作语言指令集,机器人需要在理解语言指令的基础上调用不同的多模态感知模型完成操作任务。此外,利用Wechaty聊天机器人框架在手机APP上部署了一个友好的人机交互界面（Human Robot Interface,HRI）来实现与机器人更便捷的交互。第三,利用仿人机械臂的多源传感系统构建了一个包含语言、视觉、听觉和触觉的多模态感知数据集,并在服务器端完成了数据集的分析处理,通过离线实验验证了数据集的有效性,为多模态主动感知技术的实现提供了基础。第四,结合感知任务需求和多模态感知数据集,构建了多模态主动感知的软硬件系统,并在此基础上完成了感知任务的在线实验验证。实验结果表明,本文提出的多模态主动感知操作方法能够适应实际的物理环境,并且能够确保感知抓取过程中的稳定性和有效性,为仿生及医疗辅助机器人的发展提供了基础。