【摘 要】
:
近年来,宽度学习系统在机器学习和时间序列分析问题上得到了广泛应用。针对深度神经网络存在的结构复杂、理论分析困难以及训练时间长等问题,宽度学习系统旨在从宽度上对网络
论文部分内容阅读
近年来,宽度学习系统在机器学习和时间序列分析问题上得到了广泛应用。针对深度神经网络存在的结构复杂、理论分析困难以及训练时间长等问题,宽度学习系统旨在从宽度上对网络进行扩展,只需要对单层权值进行优化,具有结构简单、训练速度快等优势。目前宽度学习系统的相关方法都属于集中式处理方法,需要一个中心节点来存储和处理所有的数据。但在实际应用中,数据可以由网络中的不同节点分布式地采集。由于能耗、计算能力和通信带宽等方面的限制,将所有数据传递给中心节点来构建宽度学习系统是不可行的。因此,将宽度学习系统应用到分布式网络中具有实际的应用价值。基于上述考虑,本文系统研究了分布式宽度学习系统,主要工作和创新点如下:首先,本文基于一致性策略对宽度学习系统目标函数进行去中心化,使用交替方向乘子法进行求解,推导出了基于一致性的分布式宽度学习系统。考虑到模型在宽度上扩展带来的冗余和过拟合问题,本文引入l2,1范数进行稀疏正则化约束,进一步提出了基于一致性的稀疏分布式宽度学习系统。然后,针对流数据场景中的在线学习需求,本文基于扩散递归最小二乘方法实现模型参数的在线更新,推导出了基于扩散策略的在线分布式宽度学习系统。此外,本文引入了事件触发的通信策略,在保持较好学习性能的同时,进一步降低网络中的通信量。最后,本文借鉴局部感受野的思想,通过卷积层和池化层进行特征提取,对宽度学习系统的结构进行扩展。然后将其进行分布式实现,得到了基于局部连接的分布式宽度学习系统。本文在大规模图像分类问题中对提出的几种分布式宽度学习系统进行测试,以验证其有效性。仿真结果表明,本文的几种分布式宽度学习系统具有接近于相应集中式模型的结果,与一些已有分类方法相比具有较好的性能。
其他文献
高速铣削加工作为先进制造技术的基础共性技术之一,被广泛应用于航空、航天、能源、轨道交通以及金属铣削加工等行业,具有广阔的应用前景。铣削加工过程中,在远低于额定功率
经济的迅猛增长促使人们对安全问题更加重视,然而目前我国在安全管理方面仍不完善,致使安全事故频发,造成人员伤亡、财产损失和环境污染。国家相关组织和国际标准化组织针对
激光诱导光学材料损伤的研究一直是高功率激光装置中亟需解决的重要问题之一。高功率密度的激光脉冲对光学材料的抗激光损伤能力提出严格的要求,材料的损坏直接影响激光系统的安全稳定,制约其输出能力。因此,研究如何提高光学材料的损伤阈值,具有重要的实际意义。用于理论分析激光与物质作用机理的方法有解析法和数值计算法。解析法计算复杂,且只适用于极少数情况;有限元法相比于有限差分法,具有非常好的灵活性和非常强的处理
竹黄是一种传统中药,来源于为生长在竹子的病原真菌竹黄菌(Shiraia bambusicola)子实体,竹黄可用来治疗风湿关节痛、胃痛、白癜风和银屑病。竹红菌素(hypocrellin)是竹黄子实体中的苝醌类色素,是一类新型的高效光敏剂。竹红菌甲素(hypocrellin A,HA),通过光动力学(Photodynamic therapy,PDT)可治疗各种皮肤疾病,包括外阴白色病变、淀粉样变性苔
高放废物地质处置、增强型地热系统、CO_2地质封存等深地工程都涉及到裂隙岩体复杂的变形/损伤–温度–渗流–传质耦合过程,全面理解多场耦合作用下裂隙岩体渗流传质特性的时空演化规律是深地工程全生命周期安全评价的重要理论基础。本文以我国高放废物地质处置库首选预选区甘肃北山花岗岩为研究对象,分别开展了花岗岩裂隙剪切损伤特征、渗透特性温度效应两组室内试验,并发展了花岗岩裂隙变形/损伤–温度–渗流–传质耦合过
本文基于2004~2017年Argo网格数据集(BOA_Argo),系统分析了热带太平洋障碍层厚度的特征、演变机理及其与ENSO事件的关联。在年平均意义上,热带太平洋障碍层呈现出3条显著的从
猪繁殖与呼吸综合征(PRRS)是由猪繁殖与呼吸综合症病毒(PRRSV)引起的高度传染性疾病,主要表现为呼吸道疾病症状和妊娠母猪繁殖障碍。该病于1996年首次在我国出现,并于2006年
当今时代是一个信息化、网络化、数字化、彩色化急剧膨胀的时代。从书刊、杂志、招贴画到影视录像等,无不渗透着数字时代的信息。各式各样的数码产品环绕在我们身边,显示屏在
近年来以卷积神经网络为代表的深度学习技术,在许多任务上取得了优异的性能,显著超越了传统算法。但是,深度学习方法往往需要消耗大量的算力与存储资源,在模型训练阶段,其可
上肢康复机器人作为机器人研究中的重要领域,在医疗,康复领域都有着广泛的应用。在上肢康复机器人的研究中,在保证机器人能带动人体上肢做高强度的重复训练的同时,将患者与机