多入多出(MIMO)系统被公认为是未来移动通信系统所采用的物理层关键技术，其信道容量近似与收发天线数目的最小值成正比，能大幅度提高无线通信系统的频谱效率。MIMO系统通常采用信道编码以及自适应传输技术来提高系统的可靠性，但是无线通信环境的恶劣，需要可靠的差错控制机制来更一步提高端到端传输的可靠性，混合自动请求重传机制(HARQ)为这一问题提供了解决方案。通信中的有效性和可靠性是一对对立统一的矛盾。从信息论观点来看，将MIMO技术和HARQ机制结合的MIMO-HARQ系统可以实现有效性和可靠性的折中。本论文深入研究了MIMO-HARQ系统的检测技术和自适应传输方案，改进了传统的自适应HARQ编译码结构，提出新型的传输机制，并设计了MIMO相关信道的信道估计算法。论文的主要工作和创新点在于：首先，本论文分析了两种典型的MIMO信道模型，并针对具有空间相关性的MIMO信道提出了一种基于训练序列的信道估计算法。其次，本论文提出了MIMO-HARQ系统联合检测和合并方法。该算法在重传检测时同时进行合并，其总等效信噪比是每次传输的等效信噪比的总和，最先检测总等效信噪比最大的天线。这种检测顺序优于传统的MIMO检测，有利于减小迫零串行干扰删除中错误传播的可能性；将多次重传检测得到的软信息值进行加权合并与判决，进一步提高系统的吞吐量性能。再次，本论文提出了MIMO-HARQ系统中的三种自适应算法。其主要思想是在发射机已知信道状态以及发射功率一定的情况下，通过调整天线置换和功率分配等传输参数来优化系统性能。此三种算法分别命名为排序自适应、局部最优化自适应和全局最优化自适应算法。排序自适应算法充分利用了天线置换这个自由度，在每次重传时将性能较差的子数据流分配到具有较大奇异值的并行子信道。局部最优算法是通过对当前传输数据流的天线置换与功率分配来优化当前传输数据的误比特率最小。全局最优化算法首先预测数据帧的总传输次数和相应的信道信息，通过天线置换与功率分配使得数据传输次数达到预测总传输次数时的误比特率最小。仿真表明全局最优化算法可以获得最大的吞吐量，但是计算复杂度比前两种算法高很多，而且仅适用于较慢衰落的MIMO信道。然后，本论文提出了一种具有混合编译码器结构的自适应HARQ机制。该混合编码器利用两路递归卷积码编码器实现了卷积码和Turbo码作为可选前向纠错码的功能，该混合译码器则由对应的两路最大后验概率(Maximum a Postcriori，MAP)卷积码译码器实现了其译码功能。混合编译码器只用一套Turbo码编译码器实现了码率兼容打孔Turbo码(Rate-Compatible Punctured Turbo Codes，RCPT)和码率兼容打孔卷积码(Rate-Compatible Punctured Convolutional Codes，RCPC)的编码方式，从而节约了硬件资源。而且，基于混合编码器设计的重传机制根据反馈信息和对业务时延敏感性的要求可以选择不同打孔方式和不同编码方式，自适应编码控制简单。最后，提出了一种具有接近恒定传输时延(Nearly Invariable Transfer Delay，NITD)的HARQ机制。在该机制中，重传的数据帧将根据反馈信息将传输错误的数据和待传输的新数据按照设定的模式重新组成新数据帧发送，因此并不会影响新数据的传输。本机制在高信噪比的条件下保证每次传输的数据帧中始终可以包含固定长度的新信息，在低信噪比的条件下也可以尽可能的降低重传的次数和中断率。