近年来,无线个人通信有了长足的发展。然而,在有限的频谱资源上实现高速、可靠的无线信息传输仍然是一个巨大的挑战。本论文针对选择性衰落信道下的实时高速无线通信,提出了一种基于非规则重复累积(IRA)码的纹状分层空时频系统。该系统使用了多输入多输出(MIMO)、低密度奇偶校验(LDPC)码、正交频分复用(OFDM)、Turbo接收等技术。针对这些技术所存在的一些实际问题,本论文给出了相应的解决方案,重点放在相关信号处理算法的设计上。设计具体算法时,在保证性能的前提下,力求复杂度最低,而且对算法的稳健性做了充分考虑。其一,在未编码MIMO系统方面,针对完美空时分组码(Perfect-STBC)提出了一种高效解码器。结合Perfect-STBC的结构特点,推导出一种等效的垂直贝尔实验室分层空时(V-BLAST)解码模型;在对该模型作最小均方误差-判决反馈均衡(MMSE-DFE)预处理之后,给出了一种具有边界约束的Fano树搜索解码算法。该解码器能以较低的复杂度逼近最大似然(ML)解码性能,而且对天线配置、调制星座均具有较好的适应性。其二,针对空时比特交织编码调制(ST-BICM)系统,给出了外信息转移(EXIT)图的分析计算方法。对于实际应用中的有限长度系统,引入了EXIT带分析技术,并给出了具体分析算法。利用EXIT带分析工具,对几种典型的软输入软输出MIMO检测器做了对比分析。其三,在软输入软输出MIMO检测器的设计方面,对List-TM算法做了改进,得到List-MTM检测器。首先对MIMO信道矩阵作无偏MMSE-DFE排序和滤波,得到一种树结构,使用TM树搜索算法构造出幸存路径集合;然后选择性地对部分长度路径进行扩展;最后联合使用幸存路径和扩展路径作软信息计算。List-MTM检测器具有灵活的性能-复杂度折中特性,而且为基于宽度优先的树搜索类MIMO检测器提供了一个统一框架。另外,通过添加一位互补矢量和设置特殊参数,由List-MTM检测器导出另一种高效检测器,称作U-MMSE-ITS检测器。该检测器不但能以相对较低的复杂度获得很好的检测性能,而且具有较强的稳健性;其处理复杂度几乎不随信道状况的变化而改变,有利于硬件实现。其四,在LDPC码的编码和构造方面,首先针对一般LDPC码的编码问题,给出了将校验矩阵通过行列置换转化为近似下三角结构的一种实用算法,使用该方法完成在线编码只需准线性复杂度。其次,针对短长度IRA码的构造,结合IRA码的结构特点,对循序边增长(PEG)算法做了约束优化,并使用优化算法构造出了短长度好码。其五,在LDPC码的解码器设计方面,结合LDPC编码MIMO系统的迭代接收机结构特点,对标准置信传播(BP)算法从校验节点信息保留、消息传递策略、校验节点信息更新计算方法等方面做了改进,得到一种高效率解码器。该解码器的收敛速率很快(只需大约5次迭代),而且节点的信息更新计算只需作少量加法和乘法操作;在解码性能方面,和标准BP算法相比,没有明显损失。最后,结合以上研究结果,针对选择性信道下的低时延高速无线通信,本文提出了一种基于IRA码的纹状分层空时频系统。仿真结果表明,该系统能以较低的处理复杂度实现可靠的高速无线传输,而且系统对于天线配置和信道状况具有较好的鲁棒性。