在经典光通信系统中,由于受到散粒噪声的影响,通信系统接收机性能存在着经典极限——标准量子极限(standard quantum limit, SQL)。近年来,随着量子信息技术的发展,利用光的量子特性设计新型的光接收机方案逐渐引起学术界的关注。这是因为,采用量子探测和测量的技术可以获取之前使用经典探测所不能获得的信息。这种方案可以让系统的性能突破标准量子极限,从而获得经典检测方案所不能达到的更低的误码率和更高的信道容量。当前对量子接收机的研究进展还比较缓慢,尚停留在理论研究和初步实验验证阶段,仍然有许多值得研究的理论和实验课题。在本论文中，我们首先回顾一下自上个世纪六十年代量子接收机只提出以来的研究进展,然后就以下三个问题进行深入探究：1.QAM信号量子接收机理论研究。到目前为止,二元调制和相位调制(PSK)方案的量子接收机,国际上已经有较多的研究人员关注,也取得了很多具有突破意义的成果。但是对于更高阶调制的QAM信号,研究人员关注的还较少。本文将目前几种接收机方案推广到QAM信号,对QAM信号的量子接收机进行系统的研究。这些接收机包括Bondurant接收机、自适应分区检测接收机和混合接收机等三种接收机方案。通过对三种接收机方案进行对比,可以为工程上可实现的量子接收机方案设计提供参考。2.二元调制多符号信号条件归零接收机理论研究。相比于对单个符号的检测方案,采用联合检测思想的条件归零接收机更具有研究价值。在本文中,我们将条件归零接收机的方案应用到多脉冲脉冲位置调制(MPPM)、编码后的OOK调制、编码后的BPSK调制信号。在此基础上,通过对接收机接收策略的优化,我们将接收机的误码率降低到经典检测方案的标准量子极限以下。3.量子接收机初步实验研究。作为初步实验验证工作,本文对BPSK的Kennedy接收机,进行初步的实验验证工作。实验结果表明,在相同的系统效率的情况下,我们的Kennedy接收机性能能够突破标准量子极限。这是国内首次从实验上初步验证了量子接收机的理论。通过替换发射端的态制备光调制器和接收端的光调制器,原则上这种方案可以用于任意PSK信号、QAM信号和二元调制多符号信号的量子接收机的实验研究。