基于宽度自编码器的进化宽度学习系统研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:mldn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前机器学习技术已被广泛应用于现实生活并为人类生活带来了极大便捷。其中尤以深度学习技术应用最为广泛,但深度学习算法往往由于太多参数需要训练,从而受制于训练资源限制,并且由于其使用反向传播算法来优化参数,模型训练经常耗费大量时间。而新提出的宽度学习系统(BLS)则提供了一种深度学习的替代方法,该方法节省了耗时的训练过程和强大的计算资源。但是,BLS网络中随机生成的特征节点及大量增强节点有可能会减弱最终分类器的性能。本文着眼于宽度学习的数据特征提取问题上,分别从有监督和无监督特征提取角度提出了两种不同类型的算法模型。首先本文从有监督特征提取角度出发,针对宽度学习网络随机生成的特征节点存在不可预测性问题,提出了一种自适应特征节点进化算法(AFNE)以提取到更好的特征,并以此为基础构建了基于特征进化的宽度网络算法(AD-BLS),另外宽度学习神经网络通常需要大量的增强节点参数以确保其性能,因此容易导致特征之间的冗余性和依赖性,以及最终模型的性能下降,因此,本文还提出了一种基于特征进化的剪枝宽度网络(ADP-BLS)用于对网络增强层进行剪枝,删除冗余节点,减少网络规模,并增加泛化能力。所提出的算法ADP-BLS可以通过特征节点的进化和增强节点的剪枝来提高最终分类器的准确性和泛化性。为了印证ADP-BLS的网络性能,我们进行了大量实验加以佐证,同时我们进行了模块消融实验用来验证在宽度网络上所加入算法的改进作用。其次本文从无监督特征提取角度出发,在提出ADP-BLS算法分类器的基础上,针对传统深度自编码器训练耗时的缺陷,以宽度学习算法为基础,提出了一种新型自编码网络特征提取器。其中包括宽度自编码网络(BLS-AE),以BLS-AE为基础模块构建的堆叠式宽度自编码网络(ML-BLS),使用L1正则训练构建的宽度稀疏自编码网络(H-BLS)。这些以宽度学习算法为基础构建的自编码网络在训练上仍保留了宽度网络训练快速的优势,克服了传统自编码网络大量参数初始化后需要迭代优化的耗时缺陷,同时通过层层递进的编码解码方式可以学习到输入数据更高层次的抽象特征,而利用L1正则来训练参数则进一步增强了编码后特征的鲁棒性。最后综合无监督特征提取及有监督模型分类两大步骤,本文将主要研究工作进行了整合,使用ML-BLS,H-BLS作为特征提取器提取特征后,输入到ADP-BLS网络进行最终任务分类,从而形成特征提取到分类端到端的基于宽度自编码器的进化宽度学习系统。在现实世界数据集的大量实验表明,本文提出的算法相较于传统主流算法不仅具有快速训练的优势,同时兼具良好的性能。
其他文献
堆肥作为油棕废弃物(Oil palm waste,OPW)和造纸污泥(Paper mill sludge,PMS)处置的有效途径之一,能促进油棕产业和造纸工业的资源循环利用和可持续发展。然而,木质纤维素可生物利用性差的特性阻碍了油棕废弃物和造纸污泥堆肥的腐殖化进程。预处理技术可以破坏木质纤维素的稳定结构,从而提高其生物可利用性。目前,预处理技术已广泛应用于木质纤维素废弃物的资源化处置工艺,如厌氧发
为应对全球气候变暖,在今年两会上我国提出了:"碳排放力争于2030年前达到峰值,努力争取2060年前实现碳中和"等庄严的目标承诺。"做好碳达峰、碳中和工作"已经成为我国的热词,而电动汽车作为该项工作的中坚力量,对其政策以及技术支持已经提上日程。当大规模电动汽车无序接入电网时,会冲击电网并加大电网调度的困难。而我国电力市场改革的推进为负荷侧资源参与市场提供了新的商业机会。为对大规模电动汽车进行灵活调
脑卒中患者常因高肌张力或肌肉痉挛而出现足内翻现象,在康复训练时,这种现象容易导致足部关节受损,严重影响其行走功能和康复进程。研究表明,及时诊断并纠正足内翻现象有助于患者恢复步行功能,其中评估足内翻程度是治疗和纠正足内翻的基础,因此,实现足内翻程度的自动检测具有重要的临床应用和研究价值。目前,足内翻程度检测方法一般有传统的临床步态分析、步态视频分析和足底压力系统分析,都存在一些不足之处:传统临床分析
锂离子电池作为典型的商业化二次电池,在目前的储能市场中占有很重要的地位,但其资源紧缺、分布不均和价格昂贵的缺点在极大程度上限制了其进一步发展。而钠、钾和锂元素均为碱金属元素,具有相似的电化学性能。且根据初步预测,使用钠和钾离子电池将使电池成本降低30%左右,这使得它们成为锂离子电池最有前景的候选者。作为非晶态碳材料,硬碳因为具有扩大的层间距和富集的微孔结构而成为极具潜力的钾/钠离子电池负极材料。在
电力电缆是城市输配电网络的重要组成部分,准确评估电缆线路的载流能力对于提高现有输配电网络设备的利用率,优化未来线路规划投资具有重要意义。局部穿管电缆在城市电缆线路敷设中的应用非常普遍,也是目前电缆线路常见的载流能力瓶颈位置,然而目前电缆载流量评估标准IEC 60287中并未提及局部穿管这种特殊敷设工况,同时现有研究中也并未提出局部穿管电缆实时载流能力的评估方法,并且目前对于不同低热阻填充材料对局部
亚热带沿海地区跨海桥梁是在海水腐蚀、高温环境以及车辆疲劳荷载的耦合作用下服役的,这种耦合作用对该类构件的耐久性能影响显著。为了探明这种影响,本文以碳纤维复合材料(CFRP)加固钢筋混凝土(RC)梁为研究对象,探讨了高温环境和海水腐蚀的温度-海水环境以及疲劳荷载对加固梁疲劳性能的影响。在此基础上,利用有限元软件ABAQUS建立了预应力CFRP加固RC梁模型,选择温度分别为10℃、35℃和50℃;Na
低压配电网正朝向智能化、数字化方向推进,而配电台区的精细化、透明化建设至关重要。由于配电网低压侧三相四线制系统存在大量不对称分配的单相负荷使得当前配电台区三相不平衡现象还十分严重,这加大了配电网的损耗,影响了电能供电质量,同时还对电网的安全和稳定运行带来威胁。为此,如何在配网侧解决三相不平衡问题是亟待解决的技术问题。基于此,本文开展了低压配电台区三相负荷自动换相的数学优化建模及算法研究,然而相序优
中医是我国医疗健康体系中重要的组成部分,国家近年来出台了一系列政策来推进中医的科学化与现代化。在所有人体器官中,舌头包含着丰富的诊断信息,是医师在开处方时参考的重要依据。舌头作为较容易采集数据的器官,是开启中医智能化研究的最适合数据。研究基于舌头图像的处方推荐方法,即可以为医生提供参考,也有利于开展后续的中医智能化的研究。本文的目的在于使用舌头图像为医师推荐处方作为参考,本文(1)提出了三种基于舌
学位
目的:探讨高渗盐水抑制脑微血管内皮细胞铁死亡降低脑梗死后血脑屏障通透性的分子机制。方法:本项目通过右侧局灶性大脑中动脉栓塞(t MCAO)法建立脑缺血-再灌注损伤的大鼠模型、糖氧剥夺法处理脑微血管内皮细胞,并使用铁死亡抑制剂(Ferrostatin-1)以及常用抗氧化剂(N-乙酰半胱氨酸)进行干预;通过检测细胞中的铁死亡相关指标丙二醛(MDA)、脂质活性氧(L-ROS),以及动物组织中的伊文思蓝渗