随着信息技术不断更新换代,大量的数据在日常生活工作中产生,对现代计算能力的要求越来越高。同时,由于数据常常储存在不同的地方,如果将所有数据集中在一个地方计算会消耗大量的人力物力,也会增加集中计算设备的负担。分布式学习是解决这类问题的可行手段。通过通信网络,分布式学习可以对分散在不同地方的数据进行分析以获得有用信息。神经网络是实现机器学习的重要方式,它在构建非线性的复杂关系模型上表现出了巨大的潜力。基于稀疏假设的分布式学习可以有效简化网络结构,提高模型的泛化能力。本文主要研究基于神经网络的稀疏分布式算法,引入了有限时间收敛概念来减少通信次数,同时介绍了在无向网络图和有向网络图上的分布式算法,将提出的算法应用在两类常用的随机权神经网络的训练中。首先,考虑数据集分布在各个地方,将回声状态网络的目标函数重新表述成分布式形式,在此基础上加入有限时间收敛的概念,提出有限时间收敛的回声状态网络分布式算法,解决训练时间过长的问题。根据Lyapunov理论,证实所提出算法的可行性。通过数据集仿真模拟,证明算法收敛性并且减少了迭代次数。其次,提出了稀疏分布式学习算法训练随机配置网络。将随机配置网络的目标函数改写成分布式形式,在惩罚项中使用l7)正则项减少信息的冗余,介绍了用交替方向乘子法分别解决大样本数据和高维度数据的分布式问题,智能体在无向网络图中交换信息,训练出随机配置网络的一致最优权重,所提出的算法经过仿真模拟得到验证。最后,针对有向网络拓扑的情况,重新设计了随机配置网络的稀疏分布式学习算法,利用交替方向乘子法的分布式结构求解目标函数,在多智能体的协作中采用了Push-Sum的方法实现有向拓扑的一致性协议,同时介绍了基于Push-Pull的稀疏分布式算法训练随机配置网络,采用Push-Pull方法求解分布式学习的目标函数。通过仿真模拟证实算法可以在有向拓扑图中有效训练。