论文部分内容阅读
复数值前向神经网络因其强大的计算能力与和良好的泛化性能等优点,在众多领域得到了广泛的应用。在具体的网络结构设计过程中,激励函数需要满足有界性和可导性。但是根据刘维尔定理,在复数域内满足既有界又可导的函数只能是常数。针对这一问题,大致有两类解决方案,第一种方案将复数值数据表示成实部与虚部或者幅度与相位的形式,从而激励函数可以采用实数值函数分别对这两个部分进行处理,此类函数在实数域上满足有界和可导的性质,但是将原始的数据进行拆分存在丢失部分信息的缺点。第二种方案是采用全复数值激励函数,此类函数在复数域内满足有界性的要求但存在奇点,因此在设计算法时,要尽量避开这些奇点。根据以上的解决方案,本论文主要研究和分析了三类不同的复数值前向神经网络,包括实部虚部型复数值前向神经网络、幅度相位型复数值前向神经网络和全复数值前向神经网络。前两者属于分裂式复数值神经网络,分别适用于解决不同的实际应用问题。基于复数值随机梯度下降算法的反向传播法是常用的复数值前向神经网络训练方法。但是,这类算法存在一些缺点,比如容易收敛到局部极小点,收敛速度慢等。为解决这些不足,本论文提出将L-BFGS算法推广到复数域用于训练复数值前向神经网络。在训练过程中,该算法加快了网络的收敛速度,同时因L-BFGS算法本身的特性,大大节省了训练过程中所需要的存储空间,提高了算法运行的速度,使得网络的训练效率得到了提升。在复数值前向神经网络的学习中,除了训练算法外,影响网络训练的因素有很多。根据不同的网络结构,本论文也采取了相应的优化方法。在对实部虚部型复数值前向神经网络的研究中,为了缓解激励函数饱和区对网络训练的影响,我们改善了激励函数中可调节增益参数的调整方法,同时给出了一些经验小结帮助更好地选择合适的参数初始值,使得网络能够更快地收敛到极小值。对于幅度相位型复数值前向神经网络,我们在损失函数中增加了正则化项以增强网络的泛化性能。在全复数值前向神经网络的训练过程中采用复数值步长,相较于实数值步长能够进一步加快网络的收敛速度。本论文将这三类不同的复数值前向神经网络分别用于解决了一些实数值分类问题、相干波形信号的传输问题和复数值函数逼近问题,实现了非线性信道均衡器的模拟。实验表明,我们提出的复数值L-BFGS算法同时结合有效的优化方法能够更加快速地实现复数值前向神经网络的训练。