神经网络的正则化及在地质预测中的应用研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:shanxiaoqqqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本论文主要对脉冲神经网络的正则化进行研究,脉冲神经网络(SNNs)被称为第三代神经网络,它模拟生物神经元模型以发放脉冲的形式进行信息传递,脉冲序列使脉冲神经网络增强了处理时空大数据的能力。理论上,脉冲神经网络比第二代神经网络更强大,但是没有在工程实践中得到广泛的应用。其主要的原因有两个:脉冲神经网络不能得到有效地训练和脉冲神经网络的模拟是计算密集型。为了构建高效低能耗的脉冲神经网络结构和算法,本文首先提出带光滑L1/2正则项的SpikeProp算法,消除脉冲神经网络中的冗余或不必要的连接权重,对脉冲神经网络进行正则化,在兼顾精度的同时提高脉冲神经网络的泛化能力和收敛速度。其次,为了进一步研究脉冲神经网络的正则化,提出五种Drop-SpikeProp算法。最后,针对隧道挖掘过程中产生的数据具有量大、多源、异构和复杂等特点,展开对隧道施工大数据进行分析和处理的研究,根据地质类型的物理力学特性,构建了人工神经网络地质预测模型,为实现隧道建筑智能化和脉冲神经网络的工程应用奠定了基础。论文主要工作包括:1.针对脉冲神经网络过拟合和收敛速度慢的问题,提出带光滑L1/2正则项的SpikeProp算法。通过将光滑L1/2正则项引入到误差函数中,使脉冲神经网络在SpikeProp算法的训练过程中一些权值变得很小最终这些权重可以从网络中删除,达到降低网络复杂度的效果,从而提高网络的收敛速度和泛化性能。另外,在特定条件下证明了算法的收敛性。实验结果表明,在保证适当分类精度的情况下,带光滑L1/2正则化的SpikeProp算法不仅可以对脉冲神经网络进行剪枝,而且还提高了其收敛速度和泛化性。另外,与L1和L1/2正则化相比,光滑L1/2正则化能达到更高的稀疏化效果。2.为了解决脉冲神经网络的过拟合问题,基于生物神经网络的突触连接是在人脑神经网络形成过程中随机产生的机制,提出两种具有固定随机失活概率的Drop-SpikeProp算法(SPDO和SPDC)。在此基础上,借鉴生物神经元具有选择性地被激活特性,进一步提出两种具有自适应失活概率的Drop-SpikeProp算法(SPADO和SPADC)和一种群自适应失活概率的Drop-SpikeProp算法(SPGAD)。这五种算法都有效地提升了脉冲神经网络的泛化性,还为深度脉冲神经网络的研究奠定了基础。另外,在一定条件下证明了SPDC算法的收敛性。实验结果表明,自适应的Drop-SpikeProp算法(SPADO、SPADC和SPGAD)比非自适应Drop-SpikeProp算法(SpikeProp、SPDO和SPDC)的正则化效果好,其中SPGAD算法的正则化效果最好。另外,三种自适应Drop-SpikeProp算法的收敛速度都比非自适应算法的收敛速度快。3.针对隧道挖掘过程中由于施工环境的高度复杂性和不确定性造成的工程数据分析和预测困难问题,首先提出一套适用于大规模复杂环境下的隧道盾构机数据分析和处理的解决方案,构建一种实时解释隧道盾构机作业数据的框架。然后根据地质类型的物理力学指标构建人工神经网络预测模型,实现地质预测的智能化。实验结果表明,数据处理过程中的特征增强能提高预测准确率;根据地质物理力学指标构造的人工神经网络模型在测试集上的性能最好,且预测准确率高于许多广泛使用的学习模型,例如支持向量回归、随机森林和XGBoost。本文针对脉冲神经网络在训练过程中存在的过拟合和收敛速度慢等问题,首先在脉冲神经网络的误差函数中引入光滑L1/2正则项,提出带光滑L1/2正则项的SpikeProp算法,实现脉冲神经网络的结构稀疏化,从而提高了网络的泛化能力和收敛速度。其次,基于两种drop随机化技术,提出五种Drop-SpikeProp算法,进一步对脉冲神经网络进行正则化。另外,通过积分方法、k近邻算法和差分方法对工程复杂大数据进行分析,构建了一种实时解释隧道盾构机作业数据的框架,通过人工神经网络实现了地质预测,为深度脉冲神经网络的研究和工程应用奠定了基础。
其他文献
学位
学位
学位
学位
学位
学位
学位
学位
【目的】随着科学管理理念的不断深入,企业管理模式越来越丰富。在这一过程中,员工幸福感研究开始逐渐走入管理研究者的视野。员工幸福指数越高,忠诚度就越高,更能发挥员工的潜力和能量,从而能够推动企业更加健康持续地成长。本研究对某外企员工的工作满意度和幸福感进行调查分析,了解该外企员工的工作满意度和幸福感现状,研究不同特征员工工作满意度和幸福感各维度的差异,分析工作满意度和幸福感的相关因素,给管理层提出人
学位