当前无线通信持续增长的需求与有限频谱资源之间的矛盾成为研究高频谱利用率技术的动力和挑战。众多新技术中，基于多天线的多入多出(MIMO)无线通信结构己显示出无尽的潜力，成为充分利用空间资源的必然途径。基于迭代思想的迭代接收机利用外信息在信号检测模块和信道译码模块间的迭代传递，来逐次提高系统的性能，是最有潜力的接收机设计方案之一。 本论文在给出MIMO无线系统得关键技术的基础上，主要研究了分层空时编码系统的几种检测算法，在非迭代检测算法中，即硬判决检测，重点研究了排序串行干扰消除(OSIC)算法，通过计算机仿真可得排序串行干扰消除算法的性能要优于线性干扰消除(LD)以及非线性干扰消除(NLD)的串行干扰消除(SIC)。本文的重点在于迭代接收机的检测算法的研究和硬件实现，针对硬件实现的特点，提出了SISO(软入软出)MMSE-PIC(最小均方误差-平行干扰消除)迭代检测算法，并相应的给出具体的简化算法。目前国内外在该课题上的主要算法是采用QR分解来避免直接的求逆所引入的计算复杂度以及数据的不稳定性，但该算法只是针对串行干扰消除做出的改进，并不能用于迭代算法。本文提出的软入软出MMSE-PIC迭代检测算法一方面利用外信息在信号检测模块和信道译码模块间的迭代传递极大的改善了系统性能，另一方面文中提出的简化修改，解决了数据的不稳定和算法的复杂度问题，在硬件上极大地降低了资源的消耗。 随着将来芯片技术的日新月异，复杂度较高的检测算法的硬件实现并不是不可实现的事，所以研究更优的接收技术才是更为迫切的事情。迭代接收机设计的关键在于信号检测器和软入软出信道译码器的性能，设计更高效的信号检测算法、寻找纠错能力更强的信道编码方法及更有效的信道译码方法，是将来很有意义的课题。