二十一世纪以来,大数据、云计算、物联网、增强现实和虚拟现实等新兴互联网技术蓬勃发展,各式各样的互联网业务层出不穷,随之而来的是呈井喷式增长的网络数据流量、与日俱增的终端用户对大带宽数字服务需求。而光纤通信系统作为互联网和移动通信网络的骨干核心,承载了绝大部分的网络数据流量。因此,如何在光纤通信系统中实现更大的系统容量、更佳的系统性能、更高的信息速率、更长的传输距离、更低的系统功耗以及更灵活的调制方式成为了当今业界广泛研究的课题。而星座整形技术作为一种能提升系统容量、改善系统性能、延长传输距离和降低信号功率的使能技术,恰逢其时,成为了国内外的研究热点。本论文围绕星座整形技术展开了深入研究,从星座整形技术的基本原理与实现基础出发,重点研究了基于星座整形信号的产生与构造、星座优化与调制等相关技术,验证了星座整形的优势与潜力,并针对当前概率分布匹配方法的局限性,提出了以降低系统功耗、提升系统误码性能为目标的新型概率分布匹配方法。本文的主要研究内容和创新点如下:（1）在研究恒定构成分布匹配器（CCDM）的基础上,提出了基于CCDM的并行化比特级概率整形优化方案。允许传输数据并行化输入到比特级概率分布匹配器,以提高系统吞吐量和数据处理速率,对并行输入比特支流中的半数处于高比特位级的每路比特支流,分别应用一个CCDM独立地进行比特级概率分布匹配,从而降低了 CCDM对整形块长度和内存的需求,进而降低时延、节省成本。搭建仿真链路验证了该新型概率分布匹配结构的可行性和性能优势。仿真表明,与均匀分布方案相比,所提出的概率整形（PS）方案具备更优的误码性能、更大的传输容量、更长的传输距离。仿真中,当误码率在3.8×10-3处,新型概率整形方案使得接收机灵敏度提高了2.4 dB;经400 km的光纤传输后,概率分布信号和均匀分布信号的误码率（BER）分别测得为6.2×10-3、0.0205,概率整形后系统误码性能得到显著改善。（2）提出了基于比特扩展的概率整形和星座优化的偶数阶调制方案。相较传统概率幅度整形编码调制方案只适用于方形的正交幅度调制格式的局限性,新方案采用比特扩展的方式改变不同符号对应码字的出现频次,以产生具有目标分布、星座点数为偶数的符号对应的码字,提高了概率整形技术对更多调制格式的普适性。并根据概率整形后码字的种类数目,相应地设计了星座性能指数优异的10点星座图、12点星座图和30点星座图结构,其相较于方形二维星座图结构有了更密集的星座点几何排布和更低的星座平均功率。通过概率整形和星座优化的结合,更大程度地降低了平均信号功率、提高了系统性能。仿真表明,当误码率为1×10-3时,PS-star-10QAM的信噪比容限提升了 1.32dB;经400km光纤传输后,概率分布且具有蜂窝型星座结构的30QAM信号和均匀分布信号的BER分别为0.0023、0.0082。（3）研究并提出了联合概率整形和几何整形（GS）的44QAM编码调制方案。采用霍夫曼编码对44QAM符号进行概率分布匹配;基于方形64QAM星座图设计了平均星座功率和峰均比更低的截断型44QAM星座结构,经该星座进行星座映射后生成PS-44QAM信号;应用成对优化算法对PS-44QAM信号的星座点的几何排布进行优化,最终得到联合概率和几何整形的44QAM信号（G/PS-44QAM）。仿真表明,概率几何联合整形信号能获得更优异的误码性能。在BER=1×10-2下,G/PS-44QAM 相较于 Uniform 32QAM、Uniform 44QAM分别提升了 2.2dB、3.3dB的信噪比容限。仿真中,在低信噪比情况下,G/PS-44QAM通过几何整形能在PS-44QAM基础上能相对较为显著地提升系统性能,具有比单纯进行概率整形的PS-44QAM更低的误码率、更高的互信息;而在高信噪比下,几何整形几乎不提供整形增益。