随着移动通信技术的高速发展,用户之间进行信息共享的业务越来越普遍,地理上相邻用户之间产生的数据流量越来越大,致使业务具有更加明显的本地特性。传统蜂窝系统缺乏应对和利用这一全新发展趋势及特性的相关机制和技术。终端直通技术(Device-to-Device,D2D)通信彻底改变了蜂窝网络中信息处理和信息传输方式,实现终端间直接通信,可有效提高频谱资源效率、降低能耗、增强系统实时性和可靠性,被列为第五代移动通信系统(5th Generation Mobile Communication Systems,5G)的关键技术之一。同时,随着蜂窝网络中引入D2D通信,网络中存在大量的用户终端可作为中继协助用户间通信,将无线中继技术引入D2D通信,可以改善网络结构,提升无线网络覆盖性能,拓展无线中继的应用场景,有效提高系统的服务质量和总体性能。本论文围绕传统D2D通信中的干扰问题和结合中继技术的D2D通信系统的性能及优化展开了研究,主要包括:1)针对D2D通信对蜂窝系统的干扰问题进行了研究。首先,对于单对D2D用户共享蜂窝通信下行链路资源场景,基于蜂窝用户干扰约束,建立蜂窝用户的干扰受限区域,提出基于干扰受限区的D2D用户接入策略,并对采用该策略的系统用户的中断概率进行理论推导。仿真结果表明,采用该接入策略可提高系统中断概率性能。其次,对于多对D2D通信共享蜂窝通信上行链路资源场景,在分析多对D2D通信产生的累积干扰服从weighted chi-squared分布的基础上,推导出蜂窝系统中断概率闭合表达式,通过仿真揭示了D2D的链路数和D2D链路的分布区域等系统参数对系统中断概率的影响。仿真结果表明,增加D2D链路数会增大对基站的干扰,但当D2D链路分布满足一定的距离条件,较大的D2D链路数也能够保证系统中断概率,同时使引入多对D2D通信链路的共享系统总容量得到提升。2)针对放大转发(Amplify-and-Forward,AF)协议双向中继D2D系统的性能及功率分配方案进行了研究。首先,针对三时隙固定增益因子的AF双向中继D2D通信系统,考虑D2D源节点和中继节点均受到干扰与噪声,利用积分区域近似推导出系统中断概率的近似表达式。以最小化系统中断概率为目标,采用等效的两条单向链路中最小信干噪比(Signal-to-Interference-plus-Noise Ratio,SINR)最大化方法,推导出最优功率分配系数。其次,针对三时隙变增益因子的AF双向中继D2D通信系统,考虑D2D源节点和中继节点均受到干扰与噪声,推导出瞬时SINR变量的紧致上界,在此基础上进一步推导出系统中断概率下界和遍历容量上界,并以最大化系统遍历容量为目标,提出最优功率分配方案。仿真结果验证了理论推导的正确性,表明采用所提出的最优功率分配方案可提高系统性能,揭示了干扰功率、源节点发送功率、功率分配系数及中继节点位置等系统参数对系统性能的影响。3)针对解码转发(Decode-and-Forward,DF)DF协议双向多中继D2D系统的中继选择方案进行了研究。在DF协议的双向多中继D2D通信系统中,考虑D2D源节点和所有中继节点均受到共道干扰(Cochannel Interference,CCI)及噪声的影响,利用顺序统计理论推导L个中继中有k个中继可正确解码两源节点发送信息的概率,在此基础上进一步推导出独立非同分布瑞利衰落信道下三种中继选择方案(随机中继选择、最大最小选择和直接传输)的系统中断概率的闭合表达式。仿真结果验证了理论推导的正确性,揭示了中继个数、中继分布区域及功率分配系数等系统参数对系统中断概率性能的影响,仿真结果还表明,使用中继选择方案的DF双向中继D2D系统的性能优于无中继的传统D2D系统性能,最大最小中继选择方案系统性能明显优于随机中继选择方案的系统性能。4)针对AF协议双向多中继D2D系统中继选择方案进行了研究。在变增益因子AF协议的双向多中继D2D通信系统中,考虑D2D源节点和所有中继节点均受到来自蜂窝系统同频干扰及噪声的影响,对于包含多个随机变量的瞬时SINR,采用合理的数学近似获得瞬时SINR变量的紧致上界,推导出SINR上界的累积分布函数,并在此基础上进一步推导出独立非同分布瑞利衰落信道下,随机中继选择和最大最小中继选择方案的AF协议双向多中继D2D系统中断概率的下界。仿真结果验证了所得理论表达式的有效性,揭示了中继个数、中继分布区域及功率分配系数等系统参数对系统中断概率性能的影响,并比较了不同中继选择方案的系统性能,结果表明,使用中继选择方案的AF双向中继D2D系统的性能优于无中继的传统D2D系统性能,与随机中继选择方案相比,最大最小中继选择方案系统性能更优。