为支持智慧家庭应用,Femtocell异构网络中需要部署大量传感器。射频(Radio Frequency,RF)能量收集(Energy Harvesting,EH)可通过无线信号为设备充电,在未来Femtocell异构网络中将有广阔的应用前景。由于无线RF能量与信息都需要依靠无线链路传输,会竞争链路资源。因此,在Femtocell异构网络中,对信息和能量传输的联合优化研究尤为重要,主要存在如下挑战:(1)系统信息与能量传输参数间内在关联关系复杂,全局模型难以建立;(2)网络节点数量大、需要联合优化参数多,优化难度高;(3)获取全网链路状态开销大,系统实时优化困难大。强化学习通过智能体与环境的不断交互,利用环境反馈激励信号进行决策和行为的自适应调整,非常适合大规模网络的优化应用。因此,本文基于强化学习理论,研究了两种典型Femtocell异构无线EH网络的优化设计,具体创新工作内容如下:(1)首先研究了基于WPCN的Femtocell异构网络,其中传感器节点通过收集无线接入点的RF信号能量为自身充电。为了实现在满足用户信息传输和传感器充电需求的前提下最大化Femtocell网络信息容量的系统目标,建立了数学优化模型,通过调节Femtocell发射功率在有效抑制干扰信号对信息传输影响的同时利用干扰信号为设备充电。为求解该问题,设计了基于Q-Learning的自适应功率控制算法框架。为提高算法性能,设计了基于距离因素和惩罚参数的分段式奖励函数。为使设计更接近实际情况,考虑了反应实际电路特性的非线性EH模型的约束。通过对不同奖励函数和超参数取值下网络性能的对比,给出了网络性能行为的变化规律。实验结果验证了所提算法框架的有效性,并且表明基于距离因素和惩罚参数的分段式奖励函数具有更好的网络性能,同时显示采用实际非线性EH模型可有效避免传统理想线性EH模型带来的偏差。(2)进一步研究了更为复杂和更具普适性的无线信息与能量同传(SWIPT)的Femtocell异构网络,其中无线接入点通过射频信号在为传感器节点充电的同时将信息传输给信息用户。针对此种网络,将功率与SWIPT接收机功率分割因子进行了联合优化,目的是在保证普通信息用户和充电传感器的信息与充电需求条件下,最大化Femtocell网络信息总容量。针对此问题,本文设计了基于Q-Learning的自适应功率与功率分割因子控制算法框架。为了使设计更接近实际情况,仿真实验同样考虑了非线性EH模型的约束。实验结果验证了所提算法框架的有效性,并给出了不同奖励函数参数对网络性能的影响规律。结果表明,ε-greedy动作选择策略下的网络性能优于玻尔兹曼动作选择策略,玻尔兹曼动作选择策略适合于动作规模较小的场景。