由于能够提升系统容量,大规模多输入多输出(Massive multiple-input and multiple-output,Massive MIMO)技术近几年得到丰富的研究。随着天线数目的增加,一方面可以利用信道硬化和信道渐进正交性来简化接收机的实现,另一方面,从硬件的角度来看,天线数目的增加也会导致接收端数模转换器(Analog-to-Digital Converters,ADCs)数量的增长。已有的研究表明:ADC的功率消耗会随着量化比特数的增加而呈现指数级增长。所以为了应对该问题,在大规模MIMO系统中使用低比特ADC(也称低分辨率ADC)进行接收信号的量化是比较直接的解决方案。基于此,低比特ADC的使用对系统性能的影响以及此时如何完成信道估计和信号检测是需要研究的问题。另外,IQ不平衡(In-phase/Quadrature-phase Imbalance,IQI)也会对低比特ADC大规模MIMO系统产生影响,所以对IQ不平衡的研究也很有必要。鉴于此,本学位论文主要解决的问题如下:首先,考虑低比特ADC大规模MIMO上行系统,本文分析了最小均方误差(Minimum Mean Square Error,MMSE)和最大比值合并(Maximum Ratio Combining,MRC)检测器的性能。假设基站端可以获取理想的信道状态信息(Channel State Information,CSI),对于所使用的检测器,本论文借助随机矩阵理论知识推导了可达速率的闭合表达式。随后假定基站只能获取非理想的CSI,本文提出了基于LMMSE技术的方案进行等效信道估计,并分析了利用估计出的等效信道进行MMSE和MRC检测时的可达速率。在理论分析中,本文考虑了信道估计误差和量化噪声的影响。除此之外,本文利用数值仿真结果验证理论分析的准确性。不仅给出了低比特ADC对大规模MIMO系统性能的影响,而且从能效方面验证了低比特ADC在大规模MIMO系统中的有效性。其次,本文研究了上行信号检测问题。在给出的低比特ADC大规模MIMO上行系统模型下不仅讨论了线性检测技术,而且为了提升系统的检测性能,本文研究了基于广义近似消息传递(Generalized Approximate Message Passing,GAMP)的上行检测方法,并讨论了此方法在混合ADC架构下的性能。在此基础上,本文提出了一种基于GAMP算法的低复杂度迭代检测技术。该方法通过检测器和译码器之间迭代地交互外信息来提升系统的性能。不仅具有相对较低的计算复杂度,而且和MMSE迭代检测相比,不存在性能上的损失。因此所提方法可以在一定程度上实现性能和硬件开销的折中。再次,针对低比特ADC毫米波大规模MIMO系统的信道估计问题,本文提出两种信道估计器。一种是基于正交近似消息传递(Orthogonal Approximate Message Passing,OAMP)算法的信道估计器。利用信道的稀疏特性和导向矩阵的正交性,所提出的信道估计方法不仅可以提升估计性能,而且迭代次数更少、迭代更加稳定。从工程的角度看,所提算法中不存在矩阵求逆,因此更易于硬件实现。另外,针对off-grid场景下的信道估计问题,本文提出一种具体方案来交替地更新导向矩阵和信道矩阵系数。为了进一步提升信道估计性能,基于期望最大准则,提出第二种信道估计器:联合信道估计和信号检测(Joint Channel Estimation and Data Detection,JCD)方法。所提出的JCD方法不仅可以利用导频来消除信道估计的相位模糊问题,而且能够利用已经恢复出的数据来提升信道估计和信号检测的性能。另外,本文所提出的方法可以估计出大尺度衰落系数和毫米波信道的稀疏度,并将其反馈到自动增益控制(Automatic Gain Control,AGC)来调整接收信号量化前的动态范围。仿真结果显示上述所提方法在信道估计和信号检测上具有性能优势。最后,将IQ不平衡参数建模成随机变量,本文利用等效信道的统计特性来简化接收机的信号处理。为了利用BiG-AMP算法,本文从理论上推导了等效信道中元素的概率密度函数。基于此,本文研究了低比特ADC大规模MIMO系统中信道估计问题和IQ不平衡补偿问题。为了实现这个目标,本文提出了两种信道估计和IQ不平衡补偿方法:基于合并信号的估计和补偿(Combinedsignal-based Channel Estimation and Compensation,CCEC)和等效信道估计和补偿(Effective Channel Estimation and Compensation,ECEC)算法。其中CCEC是通过将接收信号和其共轭信号相合并,可以消除接收端的IQ不平衡,然后基于BiG-AMP算法,利用CCEC来完成信道估计和信号检测。ECEC算法通过估计等效信道来完成信道估计和信号检测。蒙特卡洛仿真结果表明:本文所提出的两种方法能够获取更好的信道估计和信号检测性能。