蜂窝直通通信(Device-to-Device, D2D)作为一种重要的近场通信技术,已经进入LTE-Advaced系统的标化进程并将成为未来混合网络中的关键技术之一。随着移动互联网技术的发展,蜂窝网络结构已经难以适应未来无线网络应用本地化的需求,因此D2D技术成为蜂窝网络的重要补充。D2D通信技术在蜂窝系统基础设施支持下具有三种类型的性能增益：首先相比于蜂窝通信方式采用的上行和下行的通信方式,通过设备之间直连链路进行通信的D2D通信方式可以节省一半的资源；其次由于D2D用户彼此之间的距离很短,链路质量高,因此可以提供高传输速率、低时延和低功耗的数据传输服务；最后D2D用户还可以通过采用underlay的方式与蜂窝系统共存,复用蜂窝用户频谱资源,并通过空间复用进一步提高系统频谱资源的利用效率。除此以外,通过D2D通信方式还可以扩展蜂窝系统的覆盖以及提供更多类型的点对点通信服务。本文对于蜂窝与D2D通信组成的混合网络,从三个方面对D2D通信采用underlay模式复用蜂窝系统上行资源进行了研究,目标是通过网络建模评估和优化D2D通信网络容量性能,解决D2D在与蜂窝系统共存中的遇到的关键技术问题。本文的主要贡献如下：第一,本文研究了混合D2D通信网络容量问题。本文利用随机几何理论对蜂窝与D2D混合网络进行了建模分析,得到了在保证蜂窝用户通信质量前提下的D2D传输最大容量。与传统的Ad hoc网络容量研究相比,本文的创新点如下：首先,对于复用单一频带资源的蜂窝与D2D通信混合网络,通过优化采用蜂窝和D2D两种通信方式的用户比例得到混合网络和容量的上限。其次,将D2D用户复用单一频带的场景推广到复用多频带的场景,在保证蜂窝系统通信质量的前提下通过调整D2D用户的密度以及在各个频带的发送功率得到D2D用户在多个频带上的通信容量的上限。最后,本文利用随机几何模型分析了移动终端作为中继时为D2D通信带来的网络通信容量增益,通过推导得到了underlay模式和overlay模式下移动中继辅助的D2D通信网络容量。第二,本文研究并解决了D2D用户在通信过程中面临的宽带频谱感知问题。本文建立了一个以宽带抽样信号为检测对象的模型,通过综合考虑对于主用户信号的漏检和对于频谱空洞的漏检,以最小化整个频带上对于所有抽样信号的错判率为目标,设计出基于最小错判概率的最优判决门限,并给出了观测时间长度与信号检测概率和虚警概率之间的置换关系。此外,本文还讨论了噪声不确定性对于检测性能的影响,得到了噪声不确定情况下为了达到一定的检测性能需要满足的最小观测时长。基于上述理论,本文提出了一种噪声估计与信号检测的联合迭代算法,可以在信号检测的过程中进行噪声估计,仿真结果证明了算法在多种环境下的可靠性能。第三,本文研究了混合网络中的资源管理技术,相比于目前已有研究,本文的创新点如下：首先,在模式选择中提出了一种基于有限地理位置信息的模式选择方案,为原有的通过仿真手段展示模式选择区域的方案提供了一定的理论支撑。其次,本文研究了D2D用户采用underlay模式复用蜂窝上行链路资源时,蜂窝与D2D组成的干扰链路的协调与管理。最后,本文以最大化D2D通信容量为目标建立优化问题,通过采用拉格朗日对偶的方法得到在多个频带上最优分配D2D用户的方案,进一步的通过构造互动算法,得到同时在多个频带上分配D2D用户和发送功率的优化方案。基于上述方案,本文提出了一种在D2D用户不断建立和释放连接的动态网络环境中对于D2D用户的调度算法,仿真结论验证了算法的有效性和可靠性。