随着科技不断进步,现代通信系统的环境越来越趋于复杂多样化,通信中往往受信道衰落、码间串扰、信道间干扰、同频及邻频干扰等可导致信道畸变因素的影响,致使通信质量严重下降。而自适应均衡技术是克服码间干扰、提高通信质量、降低误码率的有效方法之一。它主要通过滤波装置对经解调后的接收信号进行滤波,达到信道均衡的目的。在实际通信系统中不存在完全线性信道,大多数信道属于非线性模式。神经网络是典型的非线性处理系统,具有良好的自组织、自学习性能,可大规模并行处理高度复杂的非线性问题。因此在信道中利用神经网络系统来提高均衡器效果,通信质量定会得到显著改善。然而神经网络只对局部寻优有突出优势,当存在多个极值时,较容易陷入局部极小,无法获得全局最优解。遗传算法是基于生物进化和遗传基础上的一种仿生学算法,拥有较强的鲁棒性和全局收敛性能,适用于全局随机搜索。本文在总结上述算法局限性的基础上,对神经网络和遗传算法的结合进行了分析,将遗传算法引入神经网络权重及结构的优化问题中,指出将二者融合所产生的新算法能更好地实现神经网络自适应均衡效果,并通过大量仿真实验来验证算法的有效性。本文所做的主要工作：(1)在分析总结典型的三层前馈神经网络自适应均衡算法的基础上,针对其存在的不足,重点对遗传算法与神经网络的结合方式进行研究,指出用遗传算法优化神经网络权值及结构的算法思路。(2)为更好的实现自适应信道均衡,结合遗传算法优点,提出基于遗传神经网络的自适应均衡新算法,利用代价函数重新构造遗传算法的适应度函数,同时将新算法分别用于神经网络自适应均衡器的权值及结构的优化。经不同信号仿真后,结果证明新均衡算法的收敛速率及稳态剩余误差性能均有明显改善。(3)归纳总结出标准遗传算法优化网络结构时存在时间长、存储量过大且遗传操作繁杂等问题,由采用精英紧凑遗传算法对神经网络结构进行了优化。经计算机仿真表明,在线性和非线性信道中,新的结构优化算法收敛速率明显更快且稳态剩余误差值更小。