随着互联网应用的快速发展,全球数据流量呈现指数型增长,超高速无线通信技术成为当前的研究热点。低频的微波/毫米波由于带宽有限,在实现100Gbit/s以上的超高无线速率时面临着巨大的挑战。与微波/毫米波相比,太赫兹波段拥有巨大的可用带宽,在实现超高速无线传输中具有极大的潜力。目前,太赫兹波通信系统主要包括电子学系统和光子学系统。与基于固态电子学的太赫兹无线通信系统相比,光子太赫兹无线通信系统具有大带宽,高速率的优点。但是,光电转化效率严重限制了太赫兹波的输出功率,导致远距离传输非常困难。为了提升光子太赫兹系统传输距离,我们将概率整形技术从光通信领域引入到太赫兹无线通信系统中,提出并实验验证了基于概率整形的光子太赫兹无线通信系统。本论文首先介绍光子太赫兹无线通信系统的基本要素,概括太赫兹信号产生与检测的不同方法并分析各自的优劣。然后,基于光子太赫兹链路的关键器件的典型性能,如单行载流子光电二极管(Uni-traveling Carrier Photodiode,UTC-PD)、肖特基接收机等,我们建模和计算系统链路的功率预算,并估计系统的容量极限,为实验提供理论指导。接下来,论文着重介绍概率整形技术(Probabilistic Shaping,PS)的原理,从信息论的角度推导加性高斯白噪声信道(Additive White Gaussian noise Channel,AWGN)中产生整形增益的原因,并在AWGN信道下对于正交幅度调制(Quadrature Amplitude Modulation,QAM)整形信号的互信息进行仿真,证明概率整形信号在低信噪比区间中优于传统均匀分布信号。最后,基于上述理论,我们搭建光子太赫兹无线通信实验平台,在350 GHz的频段进行了高速太赫兹无线通信实验。实验中,我们成功实现了20 Gbaud PS-16-QAM信号的4.5 m无线传输,利用概率整形技术有效地提升了系统接收灵敏度。此外,我们还将整形技术与正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术相结合,在无发射端透镜的情况下,实现了PS-16QAM-OFDM信号的2 m无线传输,通信数据速率达到122.5 Gbit/s。本论文工作希望可以为拓展光子太赫兹无线通信传输距离,提升系统容量提供一种新的思路。