面向新一代移动通信系统演进的LTE(长期演进计划,Long Term Evolution)和WiMAX(全球微波互联接入,Worldwide Interoperibility for Microwave Access)系统,分别定义了随机接入信道和初始测距信道来完成多用户向通信系统的初始随机接入过程,以基于竞争的方式完成多用户的识别及其定时偏移、频率偏移和功率的调整。随机接入过程涉及到随机接入信道的资源分配、波形设计以及基站对随机接入信号的多用户检测和参数估计等多个方面。然而,信道衰落、定时偏移、频率偏移以及远近效应等因素会对随机接入信号产生严重影响,造成接入信号的畸变,破坏接入码字的正交性,并引入多用户干扰,从而严重地制约了随机接入过程的性能和用户容量,使得现有的随机接入过程难以满足面向超大容量用户的新一代移动通信系统的需求；同时,现有的随机接入方案仅适用于单小区的蜂窝网络,无法高效地应用于面向分布式协作网络的未来移动通信系统。本文针对这些问题,从WiMAX系统的初始测距过程、LTE系统的随机接入过程以及分布式协作网络中的随机接入等方面对新一代移动通信系统多用户随机接入过程中的关键算法进行了深入分析和研究,论文的主要研究内容和贡献包括以下几个方面：1.针对WiMAX初始测距过程中信道的频率选择性衰落问题,分析了现有多载波码分多址系统中的通用预均衡算法在WiMAX初始测距过程中的应用,提出了一种基于迫零准则的通用控制预均衡(General Controlled Pre-equalization based on Zero Forcing, GC-pre-eq-ZF)算法。所提出的算法能够有效地克服基于迫零准则的预均衡算法的功率增强效应问题,最大程度地消除信道的频率选择性衰落,抑制多用户干扰以及远近效应,极大地提高了随机接入过程的性能和效率。2.在WiMAX初始测距过程中的多用户检测和参数估计方面,针对现有的串行干扰消除检测算法的缺点,即容易受到累积误差的影响且需要较高的计算复杂度,首次将初始测距信号模型表示成半盲有效信道路径模型,并提出了一种基于自适应多径检测与分离的迭代最大似然检测(Iterative Maximum Likelihood Detection, IMLD)算法,从而以较低的复杂度提高了初始测距性能并增大了初始测距信道所能承载的用户容量。3.根据LTE系统中SC-FDMA结构的特点,首次推导了LTE随机接入信号的变换域信号模型,并依据所推导的变换域信号模型提出了一种适用于LTE随机接入过程的迭代并行干扰消除(Iterative Parallel Interference Cancellation, IPIC)检测算法,以较低的复杂度实现了用户间的互干扰抑制,从而提高了基站的多用户检测性能和参数估计精度,也增大了随机接入信道的用户容量。4.针对LTE随机接入信道容易受到频率偏移影响的问题,首次从理论上分析了大频偏场景下的LTE随机接入信号模型,并阐述了变换域中频偏的表达形式及其物理意义,为SC-FDMA系统中的相关研究提供了理论基础。在以上分析的基础上,提出了一种多步骤混合多用户检测(Multi-Steps Hybrid MultiUser Detection, MS-HMUD)算法,通过性能与复杂度的折中,实现了大频偏场景下的多用户混合检测、参数估计与干扰消除,提高了多用户检测的性能与参数估计的精度。5.在分布式协作网络方面,以LTE系统为例提出了一种集中式并行随机接入(Centralized Parallel Random Access, CP-RA)方案。该方案首先采用一种基于频分复用的随机接入子信道分配的方案,消除协作用户与非协作用户之间的互干扰,并有利于中心基站或传输点辨别协作用户；而后针对协作用户,提出一种利用协作分集增益的集中式多用户检测算法,提高多用户检测性能。该方案能够准确地获知用户到多个协作基站或协作传输点的传输时延,降低系统对循环前缀长度的依赖性,提高系统的频谱效率。