无线网络异构化是无线通信技术的发展趋势,设计合理的资源优化算法以最大化无线资源利用率,最大程度保证用户的服务质量(QoS, Quality of Service)需求是异构网络研究中必须解决的问题。本学位论文围绕异构网络场景下时延与功率最小化问题展开研究,提出了协作多点传输(CoMP, Coordinated Multi-Point)系统中基于Lyapunov优化的功率分配算法,以及蜂窝与设备到设备(D2D, Device-to-Device)通信共存系统中基于强化学习的子信道共享与功率分配算法。本学位论文的主要工作如下：(1)介绍了异构网络的研究背景,回顾了异构网络资源分配方面已取得的研究成果,总结了异构网络时延与功率最小化问题研究中必备的数学方法。(2)针对时延敏感异构CoMP系统中时延与功率最小化这一动态多目标问题,首先使用主要目标法将其转化为时延约束下功率最小化问题,然后基于Lyapunov优化理论,通过在每一时隙求解Lyapunov偏移与惩罚项之和的上界最小化进行功率分配,并使用拉格朗日对偶分解法求解上述问题。仿真结果验证了该算法在时延性能和功率消耗上均优于贪婪算法和比例公平性算法,并分析了惩罚因子的选择对时延和功率性能的影响。(3)针对蜂窝网络与D2D通信共存系统,提出了一种基于时延与功率最小化的子信道共享与功率控制算法,首先使用线性加权法将动态多目标问题转化为时延与功率加权和最小化问题,进而使用Markov决策模型进行建模。然后引入决策后状态变量且基于线性模型逼近其值函数,通过TD(0)算法进行值函数估计,并通过策略迭代方法进行策略更新,使之逐渐收敛于最优策略。仿真结果表明,该算法经过有限次迭代即可收敛,且能获得较好的时延和功率性能。