论文部分内容阅读
工业环境中，无线传感器网络(Wireless Sensor Networks，WSNs)数据的传输通常有着严格的截止期限要求，如何提高数据传输的可靠性和实时性成为WSNs研究的关键问题之一。提高WSNs网络性能的主要方法之一是对传输过程进行调度，有效的调度算法能够满足严格的工业环境对网络性能的要求，具有非常重要的研究意义。
针对具有严格截止期限的WSNs数据传输调度问题，基于强化学习方法在不同的网络背景下提出了不同的数据传输调度算法。主要内容如下:
(1)针对WSNs每个时隙只有一个数据流进行数据传输的问题，提出了一种基于Q学习的实时数据传输调度算法。首先，该算法从时隙变化的角度定义系统空间，对数据传输过程进行马尔可夫过程描述。然后根据传输数据的生成周期和从源节点到目的节点的总跳数制定奖励函数，评估数据的优先级。同时，将贪婪策略与模拟退火相结合制定动作选择策略，使Q学习在前期的动作选择过程中进行充分的探索，避免陷入局部最优。最后，通过Q值函数的计算和迭代更新得到近似最优的调度算法，进而得到数据流的传输调度序列。
(2)针对WSNs中数据并发传输的问题，提出了一种基于深度Q学习的实时数据传输调度算法。该算法综合考虑数据传输过程中剩余截止时间、剩余跳数以及未分配时隙节点的影响，定义Q学习的奖励函数和动作选取策略并指导系统状态信息转移过程。同时，为了解决系统状态规模较大时导致的维灾问题，将深度学习与Q学习相结合，使用多层的栈式自编码(Stacked Auto Encoder，SAE)网络模型建立状态-动作之间映射关系，并通过Q学习算法进行更新。最后，根据训练后的SAE网络模型得到系统在不同状态下的数据传输调度策略。
(3)通过仿真实验对提出的数据传输调度算法的网络性能进行了分析和评估。实验结果表明，提出的算法相较于常用的启发式算法，实时性有较大的提高，更能满足高可靠性和实时性的WSNs的数据传输需求。
针对具有严格截止期限的WSNs数据传输调度问题，基于强化学习方法在不同的网络背景下提出了不同的数据传输调度算法。主要内容如下:
(1)针对WSNs每个时隙只有一个数据流进行数据传输的问题，提出了一种基于Q学习的实时数据传输调度算法。首先，该算法从时隙变化的角度定义系统空间，对数据传输过程进行马尔可夫过程描述。然后根据传输数据的生成周期和从源节点到目的节点的总跳数制定奖励函数，评估数据的优先级。同时，将贪婪策略与模拟退火相结合制定动作选择策略，使Q学习在前期的动作选择过程中进行充分的探索，避免陷入局部最优。最后，通过Q值函数的计算和迭代更新得到近似最优的调度算法，进而得到数据流的传输调度序列。
(2)针对WSNs中数据并发传输的问题，提出了一种基于深度Q学习的实时数据传输调度算法。该算法综合考虑数据传输过程中剩余截止时间、剩余跳数以及未分配时隙节点的影响，定义Q学习的奖励函数和动作选取策略并指导系统状态信息转移过程。同时，为了解决系统状态规模较大时导致的维灾问题，将深度学习与Q学习相结合，使用多层的栈式自编码(Stacked Auto Encoder，SAE)网络模型建立状态-动作之间映射关系，并通过Q学习算法进行更新。最后，根据训练后的SAE网络模型得到系统在不同状态下的数据传输调度策略。
(3)通过仿真实验对提出的数据传输调度算法的网络性能进行了分析和评估。实验结果表明，提出的算法相较于常用的启发式算法，实时性有较大的提高，更能满足高可靠性和实时性的WSNs的数据传输需求。