大规模多输入多输出（MIMO,Multiple-Input Multiple-Output）技术通过在基站侧配置大规模的天线阵列来深度挖掘空间维度无线资源,从而显著提高系统频谱效率和能量效率。通过基于导频信号的信道估计获取准确的信道状态信息（CSI,Channel State Information）是提升大规模MIMO系统性能的关键,而导频开销会消耗大量的时频资源。因此,如何优化导频分配变得至关重要。另外,毫米波频段丰富的带宽资源对于提升第五代移动通信系统（5G,5th Generation Mobile Communication Systems）容量和降低通信时延至关重要。为了弥补毫米波信号较大的传输损耗,可以通过大规模MIMO的预编码技术将信号能量聚焦到用户。因此,本论文以大规模MIMO系统的信道估计和预编码方法为研究目标,主要涉及用于基础覆盖的传统大规模MIMO场景以及用于热点覆盖的毫米波大规模分布式MIMO场景。全文的主要创新点和工作内容归纳如下:首先,针对采用正交频分复用（OFDM,Orthogonal Frequency Division Multiplexing）调制的宽带大规模MIMO无线传输,提出了基于联合角度时延子空间导频复用的CSI获取理论方法。研究了大规模MIMO-OFDM的信道特性,并引出联合角度时延子空间的概念。建立了空频域信道相关矩阵和联合角度时延子空间矩阵的关系,并应用低秩自适应子空间追踪算法来估计用户的联合角度时延子空间。接着,提出了基于联合角度时延子空间的鲁棒最小均方误差（MMSE,Minimum Mean-Square Error）信道估计算法,并证明了复用导频的不同用户的联合角度时延子空间相互不重叠时,MMSE信道估计的均方误差达到最小值。根据该最优性条件,提出了一种低复杂度的基于统计特征的导频调度方法。最后,仿真结果说明了所提导频调度算法的性能超过了传统的贪婪导频调度算法和随机导频调度算法,并且所提鲁棒MMSE信道估计算法可以实现逼近MMSE信道估计算法的估计误差。其次,针对分布式相控阵MIMO（DPA-MIMO,Distributed Phased Arrays Based MIMO）无线传输,提出了两种稀疏信道估计方法和一种混合预编码方法。根据DPA-MIMO系统中子阵布局的分布式特性提出了联合稀疏信道模型。为了降低导频波束开销,推导了多子阵协作的确定性波束训练过程。基于此,将DPA-MIMO信道估计问题建模为波束域的结构化稀疏信号恢复问题。接着,利用波束域信道向量的联合稀疏特性,提出了联合正交匹配追踪（JOMP,Joint Orthogonal Matching Pursuit）算法和联合稀疏贝叶斯-l2范数（JSBL-l2,Joint Sparse Bayesian Learning-l2）算法。在数据传输阶段,提出了一种基于子阵分组和串行干扰消除（SIC,Successive Interference Cancellation）的混合预编码方法来最大化系统的频谱效率。最后,仿真结果说明了所提信道估计算法能充分利用信道特性来提升估计性能,而且所提混合预编码算法对于子阵结构能以较低的复杂度实现较好的传输性能。再次,针对网络辅助全双工（NAFD,Network-Assisted Full-Duplex）毫米波DPA无线传输,提出了一种联合上下行混合预编码设计和上行功率控制的优化方法。建立了基于NAFD的毫米波DPA系统的传输模型,并以此形成了以最大化双向和速率为目标,且满足上下行发送功率约束、上下行服务质量（Qo S,Quality of Service）保证和移相器的恒模约束的优化问题。为了求解方便,将原问题等价地转化为最小化上下行加权MSE问题。针对最小化加权MSE问题,提出一种基于惩罚对偶分解（PDD,Penalty Dual Decomposition）的双层迭代求解算法。在内层迭代中,引入了惩罚凸凹过程（PCCP,Penalty Convex-Concave Procedure）来处理非凸的Qo S约束并免除了复杂的初始点求解问题。还进一步给出了所提算法的计算复杂度分析。最后,仿真结果验证了所提算法的有效性,并说明了在毫米波DPA系统中采用NAFD相比同时同频全双工（CCFD,Co-Time Co-Frequency Full-Duplex）和时分双工（TDD,Time Division Duplexing）具有性能优势。最后,针对采用OFDM调制的毫米波分布式天线系统（DAS,Distributed Antenna Systems）,提出了一种混合预编码算法。建立了包含时延扩展差的毫米波DAS传输模型,并以此形成了以最大化下行和速率为目标,且满足每个远程天线单元（RAU,Remote Antenna Unit）的发送功率约束和移相器的恒模约束的优化问题。为了求解方便,将原问题等价地转化为最小化下行加权MSE问题。针对最小化加权MSE问题,借助PDD方法提出一种具有双层迭代结构的多RAU协作混合预编码算法。同时,为了验证所提混合预编码算法的有效性,本章还给出了一种基于拟牛顿法的全数字预编码算法作为比较基准。最后,仿真结果说明了所提混合预编码算法可以实现逼近全数字预编码算法的性能以及时延扩展差会降低毫米波OFDM DAS的传输速率。