随着移动终端的飞速发展与普及,以及数据业务量的迅猛增长,传统的无线蜂窝通信面临着巨大的挑战。在蜂窝网络引入D2D(Device-to-Device)技术可以提高系统的频谱效率和系统容量,因此,D2D通信在未来无线通信研究中扮演着越来越重要的角色。然而,引入D2D技术的蜂窝网络其用户干扰场景发生了根本性变化,新型资源控制的设计为重点研究方向,其中,模式选择为关键技术之一。目前,大部分关于D2D通信技术的研究都是基于无限积压业务模型,本论文基于更为实际的分组级动态业务模型,主要对蜂窝网络D2D通信的模式选择机制进行了研究。在采用正交频分复用接入(Orthogonal Frequency Division Multiplexing Access:OFDMA)技术的蜂窝系统中引入D2D通信技术,将模式选择与资源分配问题相结合,研究在丢包率限制条件下最小化系统时延的最优化问题。以排队论、马尔科夫决策过程等作为理论工具,建立系统排队模型,并在此基础上建立模式选择机制的随机优化模型——马尔科夫决策模型,将提出的约束性最优化问题建模成为无限平均回报的约束性马尔科夫决策(Infinite Average Reward Constraint Markov Decision Process)模型。基于建立的无限平均回报的约束性马尔科夫决策模型,在模型求解时,首先通过拉格朗日乘子法(Lagrangian Multiplier Method)将约束性马尔科夫决策(Constraint Markov Decision Process:CMDP)模型转化为非约束性马尔科夫决策(Markov Decision Process:MDP)模型。由于所建立的马尔科夫决策模型面临着“维数灾难”问题,本论文介绍了等效Bellman方程对系统状态空间进行化简；引入了线性近似方法对值函数进行线性近似进一步化简值函数的数目,并通过提出的子信道竞价机制求解出最优控制策略；引入在线随机学习算法采用在线更新的方式建立值函数与拉格朗日乘子(Lagrangian Multiplier:LM)的值,并对其进行收敛性证明与近似最优证明。基于以上等效Bellman方程、线性近似方法和在线随机学习算法,本论文提出分布式子信道分配算法实现系统时延最优的模式选择与资源分配。搭建仿真平台对所提出的算法进行性能验证与对比分析,仿真结果显示所提出的算法具有与离线值迭代算法接近的性能,并优于另外两种子信道分配算法,即证明所提出的分布式子信道分配算法能够实现近似最优的性能。