对于自主式机器人系统而言,早期的研究大多是在已知的、结构化的环境中开展的,机器人在移动前对环境有了较详细精确的了解。然而,随着人们对机器人智能的需求的不断提高,非结构化环境成为主流。在非结构化环境下,精确以及完整的环境知识的缺乏也限制了常规的控制方法应用于自主机器人领域。在动态多变的复杂环境中,机器人系统如果要完成复杂的任务,它需要面对工作环境的动态性和不确定性。因此,在不确定性环境下具有推理能力的,并且可以根据经验进行学习以及协作的智能控制决策系统成为现在机器人控制领域研究的当务之急。本文研究了非结构化复杂环境下机器人系统中智能体的行为控制方法。针对在未知环境下的自主导航问题,提出了基于混合分层递阶模糊行为的控制体系结构。该结构既能在局部行动上显示出灵活的反应能力和鲁棒性,又能在全局上做出长远的、优化的运动控制规划。针对行为控制中典型的突现现象——齐诺现象的负面影响进行研究,提出了基于齐诺行为的智能体避障控制方法。针对智能体运动曲线的平滑度,提出基于行走路线平滑度的可行路径性能评价方法,为进一步在行为突现过程中对行为进行选择和融合提供了性能评判的依据。针对多个行为的融合问题,提出了基于BP神经网络的行为融合方法,该方法可以有效地控制和协调机器人的行为,使移动机器人成功地到达目标点而与障碍不发生任何碰撞,并且运动轨迹平滑。此外还提出一种避障导航策略,用于智能体从凹形或陷阱地域中漫游出来,进一步提高行为控制系统的鲁棒性。所有这些方法能够有效地实现机器人的自主控制并提高了其对复杂环境的适应能力。对于任务级的协作,首先针对静态任务分配问题提出了一种基于遗传算法的任务分配方法,并将该方法应用于多智能体系统;进一步在动态任务分配问题上,针对机器人对任务组选择的不确定性,提出了基于行为效用评价函数的多智能体动态协调优化方法。该方法,能够进一步化解系统中个体收益和整体收益的矛盾。此外为了验证所提算法的有效性,以火星车“勇气号”为原型开发了一个基于VRML的智能体在非结构化环境下导航的3D仿真平台,并进行了大量的仿真研究。实验表明算法具有良好的性能。