论文部分内容阅读
无线传感器网络(Wireless Sensor Network,WSN)应用在工农业生产、医疗监测、军事国防等各个领域。在WSN中,传感器节点因其电池容量有限,需通过充电设备为其补充能量以延长网络寿命。相较于固定充电设备,移动充电设备(Mobile Equipment,ME)具有较高的灵活性和可控性。因此,WSN的移动充电策略成为学者们研究的热点问题,根据ME的个数、充电方式等将该问题构造为优化问题,采用演化算法、近似算法等方法得到近似最优解,提升网络效用值。但是,该方法需给定一组假设解,在有限的解空间内搜索出最优解,而实际应用中可行解的个数往往呈空间爆炸现象;同时,该方法需要在所有网络信息已知的情况下进行,而获得全部网络信息难度较大。为解决上述问题,本文基于强化学习方法研究WSN的移动充电策略问题,主要包括以下两个方面:(1)设计了WSN自适应分簇算法K-CHRA。研究WSN的移动充电策略问题需首先确定ME的停留锚点。本文考虑ME对传感器节点能量分布的影响,设计了基于聚标半径(Cluster-based Radius,CBR)的聚类策略,将网络分簇,簇头节点设为ME为传感器节点充电的停留锚点。实验验证了K-CHRA可以将网络分成个数合适、簇分布均匀的层次化网络。结果表明自适应分簇算法K-CHRA能有效地延长网络寿命,提高网络中传感器节点的能量均衡性。(2)提出了基于强化学习的充电路径规划算法CSRL。在得到ME停留锚点的情况下,研究ME在网络中如何自主规划其充电路径。将该问题映射到强化学习中,分别将ME、传感器网络、网络状态和ME的充电工作映射为强化学习中的智能体、环境、状态空间和动作空间。通过对ME的状态空间、行为空间的离散化,结合网络中传感器节点的能量因素和位置因素等,对充电路径进行评价。仿真实验表明,本文所提算法CSRL可以有效延长网络寿命、提高ME充电效率。