论文部分内容阅读
摘 要：火灾是发生最频繁且极具破坏性的灾害之一，灭火机器人的广泛应用对其路径规划能力提出了更高的要求。本文提出一种利用多智能体系统建立一种有机有效的协作模型，使功能相对独立的智能体能够互相协作完成复杂的灭火任务的方法，以提高扑灭恶性火灾的能力。
关键词：多智能体;协作;灭火机器人
近年来，火灾是发生最频繁且极具破坏性的灾害之一，给国家财产和人员造成了难以计数的损失。灭火机器人属于特种移动机器人范畴，它作为特种消防设备可以替代消防队员接近火灾现场实施有效的灭火救援作业，开展各项火场侦察任务，尤其是在危险性大或消防队员不易接近的场合，灭火机器人的应用将大大提高消防部门扑灭恶性火灾的能力，对减少国家财产损失和灭火救援人员的伤亡具有重要的作用。灭火机器人集人工智能、信息处理、图像处理、无线通讯等专业技术为一体，跨计算机、自动控制、机械、电子等多学科，成为当前移动机器人研究的重点之一。目前，越来越多的灭火机器人己应用到各种危险场合，灭火机器人的广泛应用对其路径规划能力提出了更高的要求。传统的移动机器人基本上都采用专用处理器和专用操作系统，这已不能满足现代灭火机器人的发展要求，随着嵌入式系统的发展，灭火机器人正向经济化、小型化、智能化和通用型方向发展。
一、互联网+大数据时代人工智能的发展
智能包含感知能力、记忆与思维能力、学习和自适应能力、决策与行为能力。人工智能是计算机科学的一个分支，分为弱人工智能、强人工智能和超人工智能。从目前人工智能的应用场景来看，当前人工智能仍是以特定应用领域为主的弱人工智能，如图像识别、语音识别等生物识别分析，如智能搜索、智能推荐、智能排序等智能算法等。而未来随着运算能力、数据量的大幅增长以及算法的提升，机器智能将在大数据中从感知、记忆和存储向认知、自主学习、决策与执行进阶。在工程实践中，经常使用仿生的一些算法或理论，比如粒子群算法，遗传算法，禁忌搜索，神经网络等。这些算法或理论都有一些共同的特征（比如仿生），通称为“智能算法”。它们在解决一些复杂的工程问题时大有用武之地。但随着互联网+大数据时代的强势来临，迫切地需要开发新人工智能算法。
二、基于多智能体的灭火机器人系统
智能体系统（multi-gent system，MAS）一直是人工智能研究的热点领域。但是多智能体在弱通信环境中无法做出有效决策以及在巨大灾难环境中多智能体遇到的“维数灾难”这两个问题，从而无法提高智能体学习和决策能力。而发生火灾的场所就是一个通信环境差的灾难环境。多智能体系统的协作是人工智能研究的热点。多智能体系统通过建立一种有效的智能协作模型，使功能独立的智能体能够互相协作完成复杂的灭火任务。目前，多智能体协作技术已经广泛应用于智能机器人、轨道交通、智能制造、网络自动化与智能化、商业管理等领域。
在多智能体领域中，基于行为的方法是一个受到广泛认可的智能体协同控制算法。基于行为的方法不需要根据不同的环境去建立不同的数学模型，也可称之为免模型算法，具有不错的鲁棒性。但是智能体的行为选择策略往往是预先人工设定好的，面对复杂多变的环境，缺乏自适应能力。因此，只依靠基于行为的方法，无法解决复杂智能博弈对抗问题。在21世纪初期，越来越多的研究者开始将机器学习的方法与基于行为的算法相结合，提出新的智能体控制技术，使得智能体逐渐开始拥有自主学习的能力。但是单一的智能体学习方法，往往不能满足多智能体系统的需要。受到生物学和社会学的启发，基于多智能体的特点，研究者们逐渐开始将不同类型的机器学习方法与传统基于行为的方法相融合，试图寻找更好的合作方式。而这种跨学科将多方法融合的思路，对于提高智能体的学习效率，扩大多智能体的应用范围及提高多智能体的协同能力具有重要的实践意义。
总体来看，在智能体的发展研究过程中，多智能体面对复杂多变的环境时应该具有协调性、自适应性和自组织性。因此，多智能体中的每个独立的智能体首先必须具有独立的自主决策能力与面对动态变化的自适应能力。另外在多智能体系统中，不能忽视智能体之间的合作和竞争，必须要考虑到整体的利益，即协同能力。本文在对多智能体系统分析的基础上，针对目前协作模型存在的问题，提出一种通用的灭火多智能体协作模型，三个关键模块是：灭火任务处理模块，灭火协商模块，灭火协调规划模块。灭火任务处理模块对复杂任务的三个处理步骤为：灭火任务分解、灭火任务组织关系、灭火任务重要属性处理。确定了灭火协商模块中的协商模型及相应的灭火协商协议和灭火协商流程。按照提出的灭火多智能体协作模型构建了灭火执行智能体和灭火管理智能体结构。并对灭火任务处理模块提出一种可自学习寻径避障轨迹的智能群算法应对复杂环境下（大数据）的灭火。通过对可能的轨迹进行编码、适应度评价、群聚、强局部搜索能力的混沌模式、自学习等一系列操作步骤，经过一定代数的迭代获得最优的行进策略和轨迹方案。多个智能体多方协作，共同完成灭火任务。
三、总结
多智能体深度强化学习在单智能体强化学习基础上增加了智能体数量并通过在算法中加入博弈对抗和通信协调机制使多个智能体具有群体性、分布性和自主性等特点，具备学习推理和自组织协调能力。现有的多智能体多用于解决维度较低、智能体个数较少的问题，随着深度学习技术的突破以及与仿生算法结合的成功，使得多智能体深度强化学习方法在应对面对外界复杂多变的环境中取得一定进展。多智能体系统中每个智能体之间可通过通信和协作机制达成（默契），在学习过程中不仅考虑自身利益，更重要的是考虑如何最大化整体利益。每个智能体在与环境的不断交互中學习并提升协同能力和决策能力。将其应用在灭火中，是一个有益的尝试和探索。但是仍然存在一些难题需要以后继续研究。
参考文献
[1]基于Q学习的RoboCup多智能体决策优化.周戎.南京邮电大学.2018-11-14硕士
[2]国内多智能体系统应用研究归纳——共词分析视角[J].邢晓昭，望俊成.数字图书馆论坛2013-04-25期刊
[3]基于差分进化算法多智能体任务分配熊远武[J].赵岭忠，翟仲毅.计算机工程与设计2019-10-14
[4]RoboCup救援仿真平台中多智能体灭火策略.杨祥.南京邮电大学.2015-03-01
[5]RoboCup机器人救援仿真中多智能体协作模型的研究与建立.钱程.东南大学.2018-06-30
[6]基于深度强化学习的智能博弈对抗关键技术[J].曹雷.指挥信息系统与技术.2019-11-11
关键词：多智能体;协作;灭火机器人
近年来，火灾是发生最频繁且极具破坏性的灾害之一，给国家财产和人员造成了难以计数的损失。灭火机器人属于特种移动机器人范畴，它作为特种消防设备可以替代消防队员接近火灾现场实施有效的灭火救援作业，开展各项火场侦察任务，尤其是在危险性大或消防队员不易接近的场合，灭火机器人的应用将大大提高消防部门扑灭恶性火灾的能力，对减少国家财产损失和灭火救援人员的伤亡具有重要的作用。灭火机器人集人工智能、信息处理、图像处理、无线通讯等专业技术为一体，跨计算机、自动控制、机械、电子等多学科，成为当前移动机器人研究的重点之一。目前，越来越多的灭火机器人己应用到各种危险场合，灭火机器人的广泛应用对其路径规划能力提出了更高的要求。传统的移动机器人基本上都采用专用处理器和专用操作系统，这已不能满足现代灭火机器人的发展要求，随着嵌入式系统的发展，灭火机器人正向经济化、小型化、智能化和通用型方向发展。
一、互联网+大数据时代人工智能的发展
智能包含感知能力、记忆与思维能力、学习和自适应能力、决策与行为能力。人工智能是计算机科学的一个分支，分为弱人工智能、强人工智能和超人工智能。从目前人工智能的应用场景来看，当前人工智能仍是以特定应用领域为主的弱人工智能，如图像识别、语音识别等生物识别分析，如智能搜索、智能推荐、智能排序等智能算法等。而未来随着运算能力、数据量的大幅增长以及算法的提升，机器智能将在大数据中从感知、记忆和存储向认知、自主学习、决策与执行进阶。在工程实践中，经常使用仿生的一些算法或理论，比如粒子群算法，遗传算法，禁忌搜索，神经网络等。这些算法或理论都有一些共同的特征（比如仿生），通称为“智能算法”。它们在解决一些复杂的工程问题时大有用武之地。但随着互联网+大数据时代的强势来临，迫切地需要开发新人工智能算法。
二、基于多智能体的灭火机器人系统
智能体系统（multi-gent system，MAS）一直是人工智能研究的热点领域。但是多智能体在弱通信环境中无法做出有效决策以及在巨大灾难环境中多智能体遇到的“维数灾难”这两个问题，从而无法提高智能体学习和决策能力。而发生火灾的场所就是一个通信环境差的灾难环境。多智能体系统的协作是人工智能研究的热点。多智能体系统通过建立一种有效的智能协作模型，使功能独立的智能体能够互相协作完成复杂的灭火任务。目前，多智能体协作技术已经广泛应用于智能机器人、轨道交通、智能制造、网络自动化与智能化、商业管理等领域。
在多智能体领域中，基于行为的方法是一个受到广泛认可的智能体协同控制算法。基于行为的方法不需要根据不同的环境去建立不同的数学模型，也可称之为免模型算法，具有不错的鲁棒性。但是智能体的行为选择策略往往是预先人工设定好的，面对复杂多变的环境，缺乏自适应能力。因此，只依靠基于行为的方法，无法解决复杂智能博弈对抗问题。在21世纪初期，越来越多的研究者开始将机器学习的方法与基于行为的算法相结合，提出新的智能体控制技术，使得智能体逐渐开始拥有自主学习的能力。但是单一的智能体学习方法，往往不能满足多智能体系统的需要。受到生物学和社会学的启发，基于多智能体的特点，研究者们逐渐开始将不同类型的机器学习方法与传统基于行为的方法相融合，试图寻找更好的合作方式。而这种跨学科将多方法融合的思路，对于提高智能体的学习效率，扩大多智能体的应用范围及提高多智能体的协同能力具有重要的实践意义。
总体来看，在智能体的发展研究过程中，多智能体面对复杂多变的环境时应该具有协调性、自适应性和自组织性。因此，多智能体中的每个独立的智能体首先必须具有独立的自主决策能力与面对动态变化的自适应能力。另外在多智能体系统中，不能忽视智能体之间的合作和竞争，必须要考虑到整体的利益，即协同能力。本文在对多智能体系统分析的基础上，针对目前协作模型存在的问题，提出一种通用的灭火多智能体协作模型，三个关键模块是：灭火任务处理模块，灭火协商模块，灭火协调规划模块。灭火任务处理模块对复杂任务的三个处理步骤为：灭火任务分解、灭火任务组织关系、灭火任务重要属性处理。确定了灭火协商模块中的协商模型及相应的灭火协商协议和灭火协商流程。按照提出的灭火多智能体协作模型构建了灭火执行智能体和灭火管理智能体结构。并对灭火任务处理模块提出一种可自学习寻径避障轨迹的智能群算法应对复杂环境下（大数据）的灭火。通过对可能的轨迹进行编码、适应度评价、群聚、强局部搜索能力的混沌模式、自学习等一系列操作步骤，经过一定代数的迭代获得最优的行进策略和轨迹方案。多个智能体多方协作，共同完成灭火任务。
三、总结
多智能体深度强化学习在单智能体强化学习基础上增加了智能体数量并通过在算法中加入博弈对抗和通信协调机制使多个智能体具有群体性、分布性和自主性等特点，具备学习推理和自组织协调能力。现有的多智能体多用于解决维度较低、智能体个数较少的问题，随着深度学习技术的突破以及与仿生算法结合的成功，使得多智能体深度强化学习方法在应对面对外界复杂多变的环境中取得一定进展。多智能体系统中每个智能体之间可通过通信和协作机制达成（默契），在学习过程中不仅考虑自身利益，更重要的是考虑如何最大化整体利益。每个智能体在与环境的不断交互中學习并提升协同能力和决策能力。将其应用在灭火中，是一个有益的尝试和探索。但是仍然存在一些难题需要以后继续研究。
参考文献
[1]基于Q学习的RoboCup多智能体决策优化.周戎.南京邮电大学.2018-11-14硕士
[2]国内多智能体系统应用研究归纳——共词分析视角[J].邢晓昭，望俊成.数字图书馆论坛2013-04-25期刊
[3]基于差分进化算法多智能体任务分配熊远武[J].赵岭忠，翟仲毅.计算机工程与设计2019-10-14
[4]RoboCup救援仿真平台中多智能体灭火策略.杨祥.南京邮电大学.2015-03-01
[5]RoboCup机器人救援仿真中多智能体协作模型的研究与建立.钱程.东南大学.2018-06-30
[6]基于深度强化学习的智能博弈对抗关键技术[J].曹雷.指挥信息系统与技术.2019-11-11