无线光通信（Optical Wireless Communication,OWC）技术作为水下无线通信重要的技术手段之一,因其具有较高的传输带宽与较低的传输时延而被认为是实现水下高速信息传输的理想手段。然而,由于光信号在水下传输过程中受到很大的路径损耗,传统OWC系统中采用的低灵敏度检测器件将极大地制约水下OWC系统的通信性能,因而难以满足未来各类水下应用的通信需求。为了有效应对这一挑战,一系列高灵敏度的光子型检测器件开始进入人们的视野。这些器件采用独特的光子计数方式进行信号检测,从而造成了光子计数信道模型与传统高斯信道模型的显著差异,相关可靠传输的设计理论并不成熟且不能直接沿用高斯信道中的现有成果。因此,本文面向光子计数OWC系统的可靠传输需求,针对如何在光子计数信道下设计实现可靠传输的能量高效星座展开研究。本文主要研究内容和研究结果如下所示:1.泊松光子计数信道一维距离最优多层可分解星座设计。针对目前理想光子计数广播信道中叠加编码没有一般性星座设计方案的问题。提出一种以非正交方式在功率域并行传输多用户信息的多层可分解星座及其相应联合检测分层译码接收方案。在海氏距离准则和唯一可分解性质的双重约束下,所提出方案实现了多用户关联星座的一维海氏距离最优设计以及相应的唯一可分解映射设计,克服现有加性映射无法在星座能量高效结构约束下保证用户信息唯一可辨识的问题。此外,该方案能够通过对用户消息的分层调制实现依据用户优先级的层级分配。相应的联合检测分层译码算法则能够利用所提出的唯一可分解设计中分层系数的偶数幂结构,根据估计信号直接解码出目标层的用户信息。仿真说明,所设计的多层调制方案较时分多址方案具有更好的整体误码率性能,是一种注重用户公平性的方案,尤其是在各业务速率不同场景下可获得明显的性能增益。2.泊松光子计数信道多维多层联合编码调制星座设计。面向速率灵活和高可靠性传输需求,针对如何进一步提高所提出的一维多层调制方案速率灵活性和能量高效性问题,提出时域联合多层编码调制星座及相应快速平方根变换接收机。所提出星座方案借助线性分组码的非整数速率特性,通过多路分组编码器级联多层调制器的方式实现灵活的速率调整,并被证明通过合理的编码选择,该方案能够进一步提高所构成星座的最小海氏距离。相应的低复杂度接收方案利用平方根变换性质以及发送星座的结构特征,实现接收算法复杂度较最大似然算法的指数级下降。最后,由多层调制方案拓展出一种非线性叠加编码方案,并与现有叠加编码一起进行有限符号集输入的可达速率分析。仿真说明,所提出的时域联合设计方案在实现目标传输速率的同时较已有方案体现出明显的性能增益。所提出的接收方案能够以微小性能损失为代价,实现所提出星座的低复杂度接收。与现有叠加编码相比,所提出的多层调制和非线性叠加编码方案可在高光功率条件下超过前者的可达速率区域。3.泊松光子计数信道数据驱动能量高效星座设计。针对理想光子计数信道（泊松信道）现有星座设计工具单一,相关工具源于模型近似而受信道参数影响导致的设计性能下降问题,提出两类基于自编码器的数据驱动星座设计工具,并为峰值约束下的稀疏星座学习任务设计新型激活函数。构造工具时,分别采用两种方式克服信道输出离散化和分布不可重参数化所带来的自编码器现有方案使用难题:借助平方根变换,以引入一定性能损失为代价,提出基于现有训练算法的平方根自编码器方案;设计分段后向传播算法,以较高复杂度为代价,提出星座设计性能更优的双网络自编码方案。同时,所提出的激活函数可利用正则化效应,缓解非负峰值约束下稀疏星座学习存在的梯度消失问题。仿真说明,在信道参数条件恶化（高背景噪声功率）时,自编码器星座设计方案能获得较现有海氏距离星座设计方案显著的性能增益,且双网络自编码器总能获得各方案中最优的星座设计性能,而平方根变换所导致的零点近邻星座点判决错误概率的升高是平方根自编码器性能损失的主要来源。此外,在稀疏星座学习时,所提出的改进型激活函数能够有效缓解梯度消失问题,促使自编码器获取更优的设计性能。4.非泊松光子计数信道数据驱动免模型能量高效星座设计。针对实际检测器件复杂物理过程所产生的非泊松光子计数信道难以建模、传统星座设计手段无法完成星座设计的问题,提出不依赖信道模型知识的策略梯度免模型自编码器星座设计工具、完成策略函数设计和算法收敛性证明,并提出有噪反馈条件下的双路对称自编码器星座设计方案。首先,基于双网络自编码器模型,引入策略梯度法解决原有训练算法依赖信道信息的问题,构造免信道模型的自编码器方案与相应的双网络同步更新快速训练算法。随后,针对信号非负峰值约束特性完成策略函数设计,并证明所设计的策略函数能够保证训练算法对于光子计数信道收敛的一般性。最后,考虑到实际系统部署时发射机网络所需的训练信息经过有噪信道反馈问题,基于所提出的策略梯度自编码器方案,扩展得到一种双路对称自编码器结构及其迭代训练算法,该方案可在无预设反馈链路的条件下完成免模型的星座学习任务。仿真说明,提出的免模型星座设计工具在所考虑的两类光子计数信道中均能学习到与目前最优性能一致或超过现有方案性能的星座结构,并在算法收敛速度方面较现有免模型方案具有显著优势。此外,所提出的双路对称自编码器方案在有噪反馈条件下获得的星座能够达到理想反馈时的设计性能。