人工神经网络(Artificial Neural Network, ANN)是智能计算发展的一个主流方向,它是一种通过模仿生物神经网络的行为特征来进行分布式并行信息处理的智能算法模型,是近几年来快速发展的一种理想的智能优化算法之一。相较于其它智能优化算法,神经网络具有的非线性、输入输出映射性、自适应性、容错性、高速并行性、自学习性等优点,必将为无线通信发展提供重要的技术支持。无线通信技术的飞速发展要求更先进的智能信息处理技术与之匹配,近几年来,神经网络广泛而深入地应用于通信领域中的各种优化问题之中。然而,由于无线通信系统中需要解决的问题大部分是在复数域内进行处理,比如信道均衡、信道估计等,而传统的智能优化算法往往局限于实数域内的信息处理,这就要求我们必须进一步研究基于复值神经网络的无线通信系统算法。本文采用ANN,通过对无线通信领域中的资源分配问题、干扰网络分簇问题及信道跟踪和预测问题、MIMO检测问题的研究,由实数域神经网络至复数域神经网络逐渐过渡由浅入深地研究了基于神经网络的无线通信算法,具体内容如下：1.基于Hopfield神经网络的组合优化问题。由于MIMO OFDM技术是下一代无线通信的关键技术之一,如何更好地利用OFDM系统进行资源分配成为通信领域的研究重点。本文采用Hopfield神经网络,在满足各个用户业务要求、传输速率及其性能一定的前提下提出自适应资源分配方案。该方案首先是将该资源分配问题转化成组合优化问题,然后再分别通过网络模型、能量函数及动态方程的构建实现最终目标。在Hopfield神经网络自适应资源分配的基础上,论文进一步研究了多用户干扰网络中的干扰对齐(IA)分簇问题,在该问题中干扰网络被看做是一个加权图形,每一个用户看成是一个顶点,各用户之间的干扰看成是顶点之间的连线即图形中的连接权。根据集分割理论,该分簇问题即可转化为一种最大化簇内的边界权值总和的优化问题。因此,根据Hopfield神经网络优化方法,IA分簇问题可通过Hopfield神经网络模型映射、Hopfield神经网络模型构建、能量函数和动态方程的构建来实现。该应用进一步说明,通过Hopfield神经网络无需条件放松即可直接解决非线性规划(NLP)问题或非凸优化问题。与传统的穷举法相比,Hopfield神经网络方法寻优更快、收敛性能更好、稳定性更强。2.基于复值BP神经网络的信道跟踪与预测算法。由于无线信道的时变性,发射机所获得的信道状态信息(CSI)和信号发送时刻的真实CSI之间总会存在延时误差。为了补偿该延时误差,本文通过复值BP神经网络算法进行信道的跟踪与预测。采用复值BP神经网络进行信道跟踪与预测,首先需要构建网络跟踪模型,该模型输出是具有延时的CSI,然后再进一步将网络跟踪模型参数传递给与跟踪模型具有相似结构的神经网络预测模型进行信道参数的预测。与卡尔曼跟踪算法进行比较,本文算法预测误差更小,且由于神经网络本身的高速并行性,本文算法运算速度更快,可以实现时变信道的实时处理。3.复值神经网络的改进。无论是实值神经网络还是复值神经网络,当其输出值接近极值(0或1)时,其输出往往会陷入局部极值或寻优失败。为了避免出现该情况,本文提出了一种基于误差修正的复值神经网络,该误差函数引入了一种对数函数。修正后,当输出接近极值时,由于从公式上消除了1和输出极值之差,此时误差的反向传播可以通过真实值和理想值之差直接传播,避免网络输出接近极值时复值神经网络陷入局部极值或寻优失败的风险。由于卡尔曼滤波是参数估计方法中较为常用的方法之一,本文首先通过卡尔曼滤波算法进行复值神经网络的复数连接权值估计,再通过复值神经网络训练产生一种新型估计方法,通过该估计方法实现了复值函数的预测。首先建立神经网络跟踪模型,然后用卡尔曼滤波估计网络的连接权值,估计出最优权值后将该参数再次用于神经训练实现最终的函数预测。尽管算法相较于传统的复值神经网络和卡尔曼滤波方法稍显复杂,但其预测误差更小,收敛性及稳定性均有所提高。最后,误差修正复值神经网络结合小波产生新型复小波神经网络,该网络聚集了神经网络和小波变换的优点,在并行处理大规模数据的同时还具有较强的学习能力、容错性和非线性逼近能力。复值函数逼近问题和异或问题的解决进一步验证了该新型小波神经网络算法的可靠性。4.新型递归神经网络的研究和应用。递归神经网络(RNN)由于其自身的反馈特征,能够获取系统的动态响应特征。与传统前馈神经网络(FNN)不同,RNN无需在层面之间进行模型构建,只需引入定向循环就能够很好地处理高维度信息的整体逻辑顺序。与传统的RNN不同,本文中的RNN的网络模型是根据凸优化问题最优性(KKT)条件进行构建,通过引入一个积分器避免了传统的梯度下降算法带来的不足,因此算法更易实现。为了验证该递归神经网络解决凸优化问题的可靠性,本文研究了凸二次约束二次规划问题,采用半正定放松(SDR)技术,提出了一种基于该RNN的MIMO检测算法。与迫零(ZF) MIMO检测算法相比,RNN MIMO检测算法误差性能更好。