空间相干光通信具有调制方式多样、探测灵敏度高、波长选择性强、保密性能好等优点,是实现未来远距离、高可靠空间光通信的重要手段。本振激光的相对强度噪声(RIN)和大气信道都是影响系统通信性能的重要因素,在实际工程系统中都必须予以考虑。平衡探测技术可以实现RIN噪声的抑制,改善系统的通信性能。指数韦伯(EW)信道下带跟瞄误差的信道特性有助于研究平衡探测在大气信道下的中断概率和误码率特性,能对实际工程起到指导作用。本文首先根据空间相干光通信与大气信道的基本原理,给出了空间相干光通信系统的基本结构与EW模型下大气信道对信号光的衰减模型。分析了路径损耗、跟瞄误差和大气湍流的原理,并给出了这三者综合作用下概率密度分布函数的闭合表达式,为后续研究奠定了理论基础。其次,系统介绍了二进制相位调制(BPSK)与平衡探测的基本原理,对平衡探测进行了理论分析与实验研究。理论分析了平衡探测相对单管探测的优势,采用平衡探测能够有效地抑制RIN噪声。讨论了平衡失配与本振光强对相干光通信性能的影响,平衡失配会带来平衡探测性能的下降,选择合适的本振光强能够改善平衡探测的性能。还搭建了基于光纤的相干光通信实验平台,并对实验室自研5Gbps平衡探测器进行了测试与实验研究。测试表明平衡探测器的信噪比优于29dB,具有良好的平衡一致性;平衡探测器的通信眼图与实时波形图性能良好,表明其用于相干光通信的可行性。实验验证了实现相干探测所需的信号光功率不仅会随着通信速率的增加而增加,还会随着本振光功率的增加先减小后增加。最后,结合平衡探测的性质,给出了大气信道下相干光通信的中断概率和误码率的闭合表达式。并对公式进行了数值分析,研究了湍流强度、接收孔径、抖动偏差、光束半径和调制方式对系统通信性能的影响。结果表明:系统的通信性能随着湍流强度的增加而下降,随着电信噪比的增加而增加;跟瞄误差会带来系统通信性能的下降,减小抖动偏差有利于改善系统的通信性能;当系统的光束半径较大且跟瞄精度优越时,通过适当减小光束半径可以改善带跟瞄误差系统的通信性能;增加接收孔径有利于降低几何损耗并缓解湍流作用,能够改善系统的通信性能;在相同接收孔径与湍流强度下,BPSK调制的通信性能优于DPSK调制,PSK调制的通信性能随着相位调制阶数的增加而下降。