凭借在提高系统频谱利用率方面的卓越表现,多输入多输出(Multiple-Input Multiple-Output, MIMO)技术已经成为移动通信发展史上的里程碑技术。实际应用中,MIMO技术通常和混合自动重传(Hybrid Automatic Repeat reQuest, HARQ)技术组合构成MIMO-HARQ系统。已有的MIMO检测算法和HARQ系统的数据合并算法都是基于传统的贝叶斯理论。贝叶斯的有关理论和方法一直都是度量不确定性的重要手段,但由于它刻画不确定性知识不细致,还通常要求给出先验概率和条件概率等限制了其更广泛的应用。证据理论(Dempster-Shafer Theory, DST)是贝叶斯理论的扩展,在处理不确定性方面有其独特的优势。本文在DST的框架下,研究了MIMO检测和MIMO-HARQ系统中数据合并的方法,归纳起来,主要的工作和创新有以下几个方面：首先,本文提出一种基于DST的MIMO检测算法,称为DS检测。DS检测方法把MIMO信号的检测看作是一个智能推理过程,对判决统计量的不确定性进行精细的刻画,能够获得更好的检测性能。另外,利用Turbo码的译码原理,结合信道纠错编码,本文又提出了一种DS联合迭代检测译码算法,在该算法中,DS检测器输出的符号级软信息转化为比特级软信息,并作为软译码的输入,软译码输出的信息又反馈给DS检测器,构成一个收敛的迭代算法。其次,最大比合并(Maximal-Ratio Combining, MRC)被认为是在贝叶斯理论体系下具有最优性能的合并算法。本文基于DST对不确定性信息的处理能力,提出了一种单输入单输出(Single-Input Single-Output, SISO) -HARQ系统下性能优于MRC的数据合并算法,即DSC算法。其中,针对基本可信度分配(Basic Probability Assignment, BPA)的计算,本文提出了两种方法,分别是基于接收信号和候选集合之间距离的方法,即SISO-DSC-D,和基于发送符号的后验概率的方法,即SISO-DSC-APP。当原始信息比特先验等概率时,两种计算方法等价,并通过软信息BPA之间的合并运算抵消不确定性信息的影响,使得性能优于MRC。当先验不等概率且已知先验信息时,由于利用了先验信息,SISO-DSC-APP在低信噪比时性能优于SISO-DSC-D,且和基于最大后验概率(Maximum A-Posteriori, MAP)判决准则的MRC-MAP算法的性能相当。随着信噪比的提高,SISO-DSC-APP和SISO-DSC-D的性能趋于一致,并且都优于MRC-MAP算法的性能。另外,与MRC算法相比,本文提出的DSC算法具有处理不确定性信息的优势,因此算法具有鲁棒性,特别适合于衰落信道下的数据合并。第三,本文提出两种基于DST的MIMO-HARQ系统下数据合并算法,一种是用于符号级合并的DS-Symb-DSC算法,另一种是用于比特级合并的DS-Bit-DSC算法。两种算法都是软检测软合并算法,首先在DS检测阶段,对判决统计量做出软判决,定义相应的符号级或比特级的广义软信息并将其当作一个反映判决结果的证据,然后和原有出错的信息包所提供的证据在DS合并阶段根据组合规则进行融合,消除证据中所含有的不确定性信息,从而得到更优的合并性能。与传统基于最小均方误差(Minimum Mean Square Error, MMSE)检测的符号级后合并算法MMSE-post和比特级对数似然比(Log-Likelihood Ratio, LLR)合并算法MMSE-LLR相比,本文提出的DS-Symb-DSC和DS-Bit-DSC算法具有明显的性能优势,并且当原始信息比特先验不等概率时,DS-Symb-DSC算法的性能优于一种MIMO-HARQ系统中的最大似然(Maximum Likelihood, ML)合并算法。另外,本文提出的比特级的DS合并算法是一种通用的合并算法,理论推导证明LLR合并是其一种特例。通过对算法在计算复杂度方面的分析比较可以得出,本文所提算法还具有低复杂度的优势。第四,对于高维的秩亏损MIMO系统,本文提出了一种基于模拟退火的检测算法,它能在不明显降低ML算法性能的同时,大大降低算法的复杂度,特别是其并行运算的性质使得这种算法更实用。对于低维的秩亏损MIMO系统,本文还提出了一种结合ML和MMSE的算法,即ML-MMSE算法。在这种算法中,关键是对选取信道条件较差的子信道上传输的符号采用ML穷举搜索检测,而对信道较好的子信道上传输的符号进行MMSE检测。这种ML-MMSE检测算法能够在复杂度和性能之间取得较好的折中,特别适合于低维的秩亏损MIMO检测问题。