高速宽带的无线通信应用需求对高效利用有限的无线频谱资源提出了严峻挑战。作为未来无线通信系统空中接口技术的核心组成部分,配置多个发射天线与接收天线的MIMO技术和空时编码技术受到越来越多的重视。空时分组码以其优良的分集性能和简洁的实现方式,在各种MIMO和空时编码技术中脱颖而出,成为当前研究热点之一。本文从采用空时分组码的系统着手,重点研究了空时分组码系统的优化传输设计以及基于群粒算法、遗传算法和径向基函数网络的多用户检测方案。首先,本文针对采用空时分组码的ST-OFDM系统,提出了一种基于信道统计相关信息反馈的时域多维发射波束形成技术。现有空时分组码系统的MIMO波束形成和预编码技术主要针对的是工作于平坦衰落信道下单载波系统。当工作于频率选择性信道下时,现有的空时分组码系统MIMO波束形成和预编码处理的性能急剧下降。本文所提的ST-OFDM系统时域多维发射波束形成技术可以有效地工作于频率选择性信道。作者定量分析了所提方案在计算复杂度的优势,全面比较了所提方案与现有方案的性能优劣,有助于将现有的各种单载波空时分组码优化传输技术推广到多载波通信系统。特别地,作者阐明了空间分集度与波束维数的关系,对Zhou和Giannakis的研究成果作了有益的补充。然后,本文针对采用空时分组码的SF-OFDM系统,提出了基于盲转向的接收波束形成技术。通过对不同波达角的期望信号和干扰信号形成波束,该技术不仅能有效地抑制共信道干扰,而且能利用不同波达角信号间的相对延迟增强系统性能。接着,本文针对采用多天线分集接收的空时分组码系统,提出了一种基于群粒算法的多用户检测方案。不同于常规空时分组码多天线分集接收时的线性合并方案,本方案提出了虚拟Pareto前端的概念,并结合多天线分集接收检测这一特定的多目标优化问题,使粒子按照Pareto优化准则进行速度和位置更新,独立利用了不同天线分支信号携带的有用信息,并在分集接收的空时分组码系统多用户检测中取得了优异性能。特别地,本文所提出的多目标群粒算法与传统的多目标群粒算法大相径庭,不仅在空时分组码系统多用户检测的性能上优于常规群粒算法和多目标遗传算法,对其它科研领域的多目标优化问题也有一定的参考意义。随后,本文针对采用多天线分集接收的空时分组码系统,研究了基于遗传算法的多目标优化的多用户检测方案。作者分析了Yen和Hanzo所提出的基于Pareto前端的个体选择机制的不足,提出了一种改进的个体选择机制。本文所提方案在进行个体选择时,既按照Pareto准则进行优化以充分利用不同天线分支信号携带的有用信息,又舍弃了Pareto前端上冗余的次优化个体,大大增加了最优化个体获得进化的概率。与Yen和Hanzo的方案相比,本文所提方案获得了增强的多用户检测性能,避免了繁琐的非受支配地位状态的判别,降低了计算复杂度。最后,本文针对使用多天线分集接收的空时分组码系统,提出了基于径向基函数网络的多用户检测方案,通过在空域和时域联合形成径向基函数的神经元中心,利用基于径向基函数网络的非线性逼近能力获得良好的检测性能。特别地,为了减少计算量,所提方案中基函数中心以远低于空时分组码块速率的初始化率进行初始化设置,并在非初始化期按判决导向的学习法则更新基函数中心。作者的研究表明,径向基函数网络应用于多天线分集接收的空时分组码多用户检测是一新兴而有广阔前景的研究方向。