得益于微机电系统的飞速发展与日益成熟,智能传感器节点具有数据感知、无线通信、协同合作等功能,故可浸入式地获取网络覆盖范围内感知目标的物理信息。通常,无线传感器网络(WSN)通过撒播的方式部署大量的智能传感器节点于人们很难到达的位置。鉴于智能传感器节点的微小型化特点,其大多数使用的是能量有限,不可更换的电源,故人为的更换节点或补充能量是不可能的(部署环境不可达)也是不现实的(节点数量太多)。如何有效的利用节点能量,以最大化WSN网络寿命成为评价网络质量的关键因素。鉴于WSN网络的部署具有规模大,密度高等特点。首先,这会造成大量节点的感知区域重叠,将直接导致节点采集和传输的数据冗余度高,部分节点采集的数据与全部节点采集的数据质量相差不大。再者所有节点同时工作容易造成大量的信道干扰和网络拥塞,降低网络的吞吐量,数据也容易丢失。故在保证网络性能的条件下,适时适当的调度网络中部分节点进入休眠状态,可以有效地提高能耗效率,延长网络寿命。本文研究的主要内容是在理解和掌握WSN网络特点的基础上,深入研究强化学习算法的特性,利用强化学习简单、分布式及无需环境模型的优势,对WSN网络的节点休眠调度问题进行相关研究。内容包括:(1)从整个网络的角度出发解决了节点的休眠调度问题。提出了一种基于Q-学习的无线传感器网络节点休眠调度算法QSA。首先将无线传感器网络视为一个多智能体系统,采用马尔科夫决策过程(MDP)建立问题的模型,并定义了模型需要的状态集、动作集和回报函数。然后使用QSA算法通过试错的自学习过程最大化的值函数,最终可得到一个较优的调度策略。实验结果显示QSA算法在提高能耗效率的同时也能够保证整个网络具有较优的感知覆盖率。(2)从无线传感器网络的MAC层出发解决了节点的休眠调度问题,提出了一种基于Q-学习的无线传感器网络MAC层休眠调度算法QMSA。该算法通过扩展原始Q-学习方法使传感器节点自适应的控制自身的休眠与工作。节点以分布式方式通过与其周围的环境进行直接交互学习得到一个高效的调度策略以决定其是否进入休眠状态。实验结果显示QMSA算法既可以提高能耗效率,同时也能够保证传感器网络具有较低数据延迟。