码分多址通信系统是一种干扰受限系统，不同用户的随机接入，导致用户之间扩频码不完全正交，产生了多址干扰和远近效应等问题。多用户检测是解决这些问题的关键技术，能使系统具有优良的抗干扰性能，降低系统对功率控制精度的要求，显著提高系统容量。多用户检测本质上是一个组合优化问题，而径向基函数(RBF)神经网络具有很强的函数逼近能力、简单的网络结构和快速易行的训练方法，是解决这类问题的一种有效手段。将二者有机结合，期望获取更好的检测性能，是近来的一大研究热点。本文的主要工作有：(1)综述了多用户检测的发展方向和研究现状，并进行了分类；通过仿真实验比较了几种典型的多用户检测，为后面算法的性能比较奠定了基础。(2)阐述了RBF神经网络的基本原理，分析比较了几种常用的学习算法的特点，讨论了RBF神经网络多用户检测的原理和系统结构。(3)分析了梯度下降法训练的RBF神经网络多用户检测中学习速率和隐含层节点数对算法性能的影响。针对其不足，分别引入一种变学习速率梯度下降法和最近邻聚类算法，构成混合学习算法训练RBF神经网络，并应用到多用户检测中。仿真表明，新算法计算速度快，性能优于传统算法和OLS算法训练的RBF神经网络多用户检测。(4)提出了一种混合递阶遗传算法来同时训练RBF神经网络的结构和参数，引入了改进的染色体编码方案，用基于奇异值分解的最小二乘法计算网络输出层权值，提高了遗传搜索的效率，精简了网络结构；并用变学习速率梯度下降法优化遗传训练出的最优网络，应用到多用户检测中。仿真表明，新混合学习算法训练出的网络结构优于其他算法训练的网络结构，并且性能良好。