下一代无线通信系统面临的挑战主要有两个方面，一是要在有限的频谱带宽内高速传输数据，二是要尽量减小发射功率，即获得更高的频谱效率和能量效率。现有的蜂窝系统无法满足上述要求，无线通信系统需要全新的网络架构。人们提出了一些解决方案来应对挑战，这些方案的共同点是均引入了多入多出技术以及协作传输策略等，其中分布式天线系统由于在信号覆盖范围、功率以及频谱效率等方面的诸多优势受到人们越来越多的青睐，业已成为下一代无线通信系统架构的有力竞争方案。虽然分布式天线系统的概念产生于1987年，但是将其引入蜂窝无线通信系统并与现有的先进传输技术相结合却是从近几年才开始受到广泛关注与研究的，仍有大量的基础理论需要进一步丰富与完善，一些关键问题尚待研究。本文针对分布式天线系统下行传输时的信道容量与相应的关键问题进行了深入的分析与研究，重点在于信道容量解析表达式的推导、传输模式的选择以及天线单元的布署，研究内容可以归纳为如下四个方面：第一，选择性传输时信道容量及天线选择方法研究。首先对分布式天线系统研究中所使用的复合衰落信道模型进行了深入的分析。然后从分布式天线系统中最常见的情况出发，研究了用户选择单一分布式天线单元为其服务时的信道容量问题。分析了三种选择天线单元的方法，即根据信道状态信息选择，根据阴影衰落信息选择以及根据距离信息选择，推导了三种选择方法下信道容量等相关指标的解析表达式，并通过数值仿真验证了表达式的正确性，同时验证了分布式天线系统在功率以及信道容量等方面的确优于传统的蜂窝系统。上述理论分析过程也为后续章节的进一步深入研究奠定了基础。第二，最大比发送——选择性合并传输方案（MRT-SC）在分布式天线系统中的应用研究。为更好地抵抗信道的衰落特性并提高信道容量，提出在下行传输中使用MRT-SC技术，考虑了双天线接收机两路接收信号之间的相关性，对信道容量进行了理论分析，通过基于矩生成函数和高斯——埃尔米特积分的方法得到了信道容量等相关指标的解析表达式。将上述研究过程应用于多用户机会调度场景下的信道容量分析中，给出了均匀一致性用户和非均匀一致性用户两种情况下系统容量的解析表达式。第三，多用户和容量与传输模式研究。在前面研究的基础上，进而考虑更为复杂的情况，即分布式天线单元功率受限并且多用户同时通信。首先推导了多用户同时通信时遍历和容量的解析表达式，并通过仿真验证了其正确性。然后研究了分布式天线的分配问题，即所谓的传输模式选择。以多用户遍历和容量最大化为目标，提出了一种基于模式搜索的传输模式选择算法，该算法可以获得与现有算法相近的小区平均遍历和容量，但是目标函数的平均计算量却大为减小，获得了性能与计算复杂度的折中。第四，天线单元布署位置研究。首先推导了小区中断概率的解析表达式，然后将其作为优化目标对天线单元的布署位置问题进行了研究。提出一种基于复数编码遗传算法的天线单元布署方案。并对其进行了改进，提出一种多目标优化遗传算法，可以同时确定小区内天线单元的数量和位置。相比于现有算法，所提出的算法具有较好的灵活性和普遍适用性，不需要预先对天线单元布署的拓扑结构做任何限制，且可以在不改变算法结构的前提下使用不同的系统性能指标作为优化目标。