高级调制格式和相干检测是大容量、长距离光纤通信系统的主流解决方案。本振光源是相干检测中的重要组成单元，适用于本振光源的窄线宽、低噪声激光器已成为研究热点之一。本论文针对相干检测的应用需求，围绕激光器线宽压缩机理及技术展开了研究。具体内容如下：设计了一种激光器线宽压缩装置，该装置由超长腔、基于受激布里渊散射的有源超窄带滤波器以及组合光纤环和未泵浦掺铒光纤双重选模机构等单元构成。分析了受激布里渊散射产生介质、组合光纤环和未泵浦掺铒光纤这三个重要组成单元的工作原理，讨论了各单元参数对装置总体性能的影响。给出了一种基于外差检测原理的受激布里渊散射增益谱测量方法。采用该方法对高非线性光纤中受激布里渊散射增益谱特性随泵浦源波长、功率、偏振态等参数变化的规律进行了实验研究。在此基础上，确定线宽压缩装置的结构参数和工作状态参数。对线宽压缩装置的性能进行了实验研究，测试和分析纵模线宽压缩、自发辐射噪声抑制、输出波长连续性与稳定性、相对强度噪声以及光-光转换效率等性能。结果表明该线宽压缩装置能够在C波段30nm范围内，将普通半导体激光器的线宽由3MHz压缩到15kHz，将信号光与自发辐射光的功率比值提高15dB，具有大于10dBm的功率输出，-135dB/Hz的相对强度噪声以及良好的波长稳定性。基于VPI软件构建了一个背靠背相干光通信系统的仿真平台，分析了本振光源线宽、相对强度噪声和输出功率等参数对相干检测性能的影响，验证了窄线宽、低噪声光源对于相干光通信系统的重要性。