复数值前向神经网络的学习算法研究与应用

来源 :苏州大学 | 被引量 : 0次 | 上传用户:JK0803fengwei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
复数值前向神经网络因其强大的计算能力与和良好的泛化性能等优点,在众多领域得到了广泛的应用。在具体的网络结构设计过程中,激励函数需要满足有界性和可导性。但是根据刘维尔定理,在复数域内满足既有界又可导的函数只能是常数。针对这一问题,大致有两类解决方案,第一种方案将复数值数据表示成实部与虚部或者幅度与相位的形式,从而激励函数可以采用实数值函数分别对这两个部分进行处理,此类函数在实数域上满足有界和可导的性质,但是将原始的数据进行拆分存在丢失部分信息的缺点。第二种方案是采用全复数值激励函数,此类函数在复数域内满足有界性的要求但存在奇点,因此在设计算法时,要尽量避开这些奇点。根据以上的解决方案,本论文主要研究和分析了三类不同的复数值前向神经网络,包括实部虚部型复数值前向神经网络、幅度相位型复数值前向神经网络和全复数值前向神经网络。前两者属于分裂式复数值神经网络,分别适用于解决不同的实际应用问题。基于复数值随机梯度下降算法的反向传播法是常用的复数值前向神经网络训练方法。但是,这类算法存在一些缺点,比如容易收敛到局部极小点,收敛速度慢等。为解决这些不足,本论文提出将L-BFGS算法推广到复数域用于训练复数值前向神经网络。在训练过程中,该算法加快了网络的收敛速度,同时因L-BFGS算法本身的特性,大大节省了训练过程中所需要的存储空间,提高了算法运行的速度,使得网络的训练效率得到了提升。在复数值前向神经网络的学习中,除了训练算法外,影响网络训练的因素有很多。根据不同的网络结构,本论文也采取了相应的优化方法。在对实部虚部型复数值前向神经网络的研究中,为了缓解激励函数饱和区对网络训练的影响,我们改善了激励函数中可调节增益参数的调整方法,同时给出了一些经验小结帮助更好地选择合适的参数初始值,使得网络能够更快地收敛到极小值。对于幅度相位型复数值前向神经网络,我们在损失函数中增加了正则化项以增强网络的泛化性能。在全复数值前向神经网络的训练过程中采用复数值步长,相较于实数值步长能够进一步加快网络的收敛速度。本论文将这三类不同的复数值前向神经网络分别用于解决了一些实数值分类问题、相干波形信号的传输问题和复数值函数逼近问题,实现了非线性信道均衡器的模拟。实验表明,我们提出的复数值L-BFGS算法同时结合有效的优化方法能够更加快速地实现复数值前向神经网络的训练。
其他文献
在科学研究和工程应用中都涉及对优化问题的求解,而随着工业发展朝着新型化、综合化、连续化的方向迈进,使得工业生产过程中所面对的优化问题具有多目标求解、强非线性、高变
随着软件规模的扩大和软件复杂度的不断升,软件配置故障已成为导致软件系统失效的主要原因之一。目前软件系统内的配置项约束及其相互之间关联关系的复杂性是导致软件配置故
在当今社会,伴随着社交网络、物联网、互联网等技术的普及,全球数据信息正以指数级的速度爆炸性增长。而数据的存储量也由TB、PB到EB、ZB甚至YB不断扩大。然而,在人们的生活
精密单点定位(Precise Point Positioning,PPP)是一种高精度的单点定位技术,自从1997年Zumbeger等人提出精密单点定位技术,国内外许多专家学者从模型以及算法等多方面进行了
在科学研究和工程领域中许多问题都是由多个相互冲突的目标组成,一般称这一类问题为多目标优化问题。基于种群的进化算法在单次运行中能得到一个近似的Pareto解集,因此多目标
近年来,幻构人脸技术作为图像超分辨率(Super-Resolution,SR)的分支,受到了人脸图像邻域研究学者的重点关注。幻构人脸技术通过挖掘低分辨率(Low-Resolution,LR)人脸图像中的
图像识别在自动驾驶、医疗诊断等许多领域有着广泛的应用,而图像分割的结果将会在很大程度上影响到图像识别的准确性和正确性。之前对于图像分割的研究主要集中在对灰度图像
传统的无线多媒体传感器网络(WMSN)节点仅配备一路摄像机,图像感知区域有限,无法在同一时间实现全向的观测。由多个WMSN节点组成的观测网络,又存在覆盖失衡、数据传输冗余等
集成电路(IC)工艺和设计方法的提高,在单个芯片上集成多个芯片实现更为复杂的功能成为可能,系统芯片(SOC)集成技术在这种背景下应运而生。SOC的实现是采用知识产权(IP)核复用
随着卷积神经网络的发展,以及硬件技术的进步和大数据时代的到来,物体检测技术不仅检测率得到大幅提升,而且检测速度也极大加快。这使得物体检测在一些要求实时检测的系统中