MIMO(Multiple-Input-Multiple-Output)技术可在不增加带宽的情况下成倍地提高通信系统的容量和频谱利用率,这在频谱资源日益紧张的今天具有非常重要的意义。在MIMO系统中,信道数量的增多、发送信号空间维的扩展使信道估计与信号检测技术已成为制约系统性能和实际应用的瓶颈。论文针对MIMO系统中的信道估计与信号检测技术展开研究,主要包括导频序列的优化设计和迭代接收机中的信道估计与信号检测算法。在导频序列优化设计中,论文分别针对现有的两种典型导频结构,叠加导频结构和时分复用导频结构展开研究。在对叠加导频结构的研究中,基于常用的一阶统计量信道估计算法,提出了一种在频域对导频序列进行联合最优化设计的方法,使导频序列同时具有最优的信道估计性能、峰均功率比和有效信噪比。基于该频域设计思路,又提出了一种可以消除直流干扰的叠加导频设计方法,避免了直流干扰对信道估计的影响,降低了为估计直流干扰而引入的复杂度。在对时分复用导频结构的研究中,针对现有的QPP-α(quasi-periodic placement)最优导频序列中将部分导频符号设置为0,导致系统峰均功率比大的问题,提出了一种次优的恒模导频设计方法,可在信道容量损失较小的前提下,显著降低系统的峰均功率比。利用该恒模导频序列进行初始信道响应估计,针对不同传输环境,论文研究了MIMO系统迭代接收机中的EM(Expectation-Maximization)信道估计与APP(APosteriori Probability)信号检测算法,通过改进现有典型算法的不足之处,获得了更优的性能和实现复杂度的折衷,具体包括:在平衰落慢时变环境中,针对非穷尽列表类APP检测算法采用固定且较大的列表长度,致使算法复杂度较高的问题,提出了一种具有自适应列表长度的列表球形译码算法(ASLSD,Adaptive Size List Sphere Decoding),使检测列表长度可随信噪比和迭代次数自适应变化。在性能损失较小的前提下,所提算法显著减小了所需的检测列表长度,有效降低了算法复杂度。在平衰落快时变环境中,EM-KALMAN平滑信道估计算法由于忽略了迭代接收机各功能模块的相互作用,导致系统性能下降。论文中依据因子图和求和乘积算法原理,对EM信道估计算法进行改进,将EM算法等效为前后向KALMAN预测算法,从而保证了信道估计算法与检测算法的一致性,提高了系统的性能。马尔可夫链蒙特卡罗((Markov Chain Monte Carlo))检测算法可以在复杂度低于LSD(List Sphere Decoding)算法的前提下获得约2dB的性能增益,但是在高信噪比时或迭代过程中,其采样过程易“陷入”某一采样状态,导致后验概率估计产生偏差。论文中提出了一种强制分散的MCMC算法(Forced-Dispersed-MCMC),通过对“陷入”后的采样序列在一定范围内进行随机分散,减弱了采样序列对后验概率的依赖性,同时也使分散后的采样序列仍可具有较大的后验概率。与现有改善“陷入”问题的算法相比,所提算法可显著增加采样状态数,从而提高MCMC检测算法性能。在多径慢时变环境下,采用分解EM算法进行信道估计具有实现复杂度低的优势,但现有算法中通常直接将加权因子平均设置,忽略了其对信道响应更新的作用,因而导致算法性能下降。论文中依据最小化信道估计均方误差原则,通过对加权因子进行优化设置,有效地提高了分解EM算法的性能。针对Turbo MMSE(Minimum Mean Square Error)均衡算法中采用干扰抵消方式处理干扰分量,使算法性能受残余干扰影响大的问题,提出了一种空时分离的自适应均衡算法。算法中通过空间信号提取将多径条件下的均衡问题转化为平衰落环境下的APP检测问题,而在检测过程中则根据干扰程度,在概率数据关联(PDA,Probabilistic Data Association)算法和分组MAP(Maximum a posterioriprobability)算法间自适应地进行选择。该自适应均衡算法在性能上明显优于TurboMMSE均衡算法,而且通过调整分组长度和干扰门限可使算法在性能和实现复杂度之间灵活折衷。