信息与通信技术的不断演进,改变了人类的生活并驱动了社会的深刻变革。移动互联网、物联网的蓬勃发展,提供了高速便捷的用户体验,不过也对无线网络的容量、可靠性、覆盖率等关键指标提出了更高的要求。传统蜂窝网络为实现连续广域覆盖,满足热点高容量的通信需求,需投入大量的基站设施及维护开支,有悖于未来低碳环保的发展趋势。无线转发作为一种可有效提升系统容量,扩大小区覆盖范围的技术,为蜂窝网络提供了有力保障和补充。尤其是发生自然灾害或应急事件时,蜂窝网络无法正常工作,无线转发设备可快速建立高质量通信连接以减少灾害造成的损失,因此有必要研究无线转发增强技术。本文围绕无线转发增强系统中传输方案设计问题,采用模型建立、算法设计及性能评估验证等手段开展了预编码、发射分集、均衡等技术的研究,设计了针对静态、动态、不同信道条件及不同转发器类型的无线转发增强传输方案。首先考虑中继系统中的非理想信道信息,分别对频分双工和时分双工系统中的非理想信道进行建模,提出了两种鲁棒性传输方案。随后在可重构智能表面系统中,提出了一种无需信道估计的低开销传输方案。在上述静态场景的基础上,研究了高速移动转发器的传输方案,提出了基于正交时频空调制的高可靠传输方案。本文的创新性工作主要包括以下三个方面:1)针对中继系统中的非理想信道导致的鲁棒性低的问题,研究了频分双工和时分双工系统中的双/多向转发方案。首先根据信道不确定性产生原因的不同,对转发系统非理想信道进行建模。随后在频分双工系统中以最小化最坏情况下的均方误差为目标,构建了转发器能量约束的极小极大问题,然而该问题非凸且难以求解,为此将原问题分解为上下行信道不确定性的两个子问题,并利用拉格朗日乘子法和解西尔韦斯特方程得到闭合解。在时分双工系统中,以最小化均方误差为目标,设计了一种整体迭代算法。仿真表明,在两种双工系统下提出的转发方案对非理想信道均具有良好的鲁棒性。2)针对可重构智能表面系统中的信道估计开销大的问题,研究了低开销传输方案。首先以最小化均方误差为目标,构建了无需信道估计的优化问题。通过球坐标表示,将原约束问题等价转化为无约束问题。利用贝叶斯优化理论,将整体传输过程视为黑盒函数,基站根据发送和接收的样本迭代更新预编码及可重构智能表面相移,有效降低了基于信道估计方案中的训练开销。由于提出的框架无需得到目标函数的显式表达式,可将其灵活扩展用于解决无线能量收集系统及用户公平性等问题。3)针对高速移动转发增强系统中可靠性低的问题,研究了基于正交时频空调制的传输方案。首先考虑正交时频空调制的收发机设计问题,提出一种基于空时码的矩形波发射分集方案,相比于假设连续两帧信道保持不变的理想波方案,可有效抵抗由于信道剧烈变化引起的可靠性下降。为了降低所提发射分集方案的开销,提出一种延时多普勒域信息映射方式。基于循环移位技术,提出一种延时多普勒域发射分集方案,并证明了其与时域循环延时分集的等效性。此外针对高速移动场景传输谱效低的问题,提出了延时多普勒域非线性预编码方案,实现多天线多数据流高效并行传输;针对正交时频空调制接收机均衡复杂度高的问题,提出了两种线性接收机均衡方案,实现低复杂度均衡。最后将提出的基于正交时频空调制的发射分集与预编码方案应用至高速移动无线转发场景中,有效提升了系统可靠性及频谱效率。