随着数据化时代的变革,人工智能技术已经深入人心,深度学习技术也随着人工智能技术而兴起。深度学习的成功在于其能够解决神经网络方面的一系列问题。在处理深度神经网络及卷积神经网络方面,往往离不开梯度下降算法的支持。深度学习中的梯度算法可应用于许多问题的求解,比如线性回归模型、矩阵分解、区块链核心技术去中心化的共识算法。区块链技术的核心问题是节点之间的共识问题,在各个矿工节点之间往往会有拜占庭故障节点扰乱当前交易系统,解决这些拜占庭节点问题的方法我们称其为拜占庭容错技术(或拜占庭弹性技术)。在应对拜占庭共识问题时,各个节点间往往存在任意数量的拜占庭节点。在近几年里,拜占庭容错问题引起了研究人员的高度重视,成为业界的热点研究话题。拜占庭节点的存在,会导致节点间信息交流的不可靠,因而会干扰算法的正常运作,甚至可能会导致服务器的瘫痪。在深度学习中利用随机梯度下降算法处理拜占庭共识问题是有效的方法之一。纵观最近两年时间,Blanchard首先提出利用随机梯度法来处理拜占庭故障模型,并提出经典拜占庭模型(Classical Byzantine model)。基于经典拜占庭模型,Blanchard在迭代过程中加入Krum函数的聚合规则,保障在经典拜占庭模型下,基于Krum聚合规则可以使整个参数服务器系统具有较强的鲁棒性。随后基于Blanchard经典拜占庭模型,Cong Xie提出更为普遍的拜占庭模型,即广义拜占庭模型(General Byzantine model),将经典拜占庭模型实际化,更加突出了拜占庭结构的任意性,同时Cong Xie提出基于中值的聚合规则,即几何中值,并对基于几何中值的聚合规则进行收敛分析,同时在实验中进行外界拜占庭节点攻击进行干扰,证明出基于几何中值的聚合规则具有强鲁棒性。遗憾的是,利用深度学习梯度下降算法来解决拜占庭故障问题,目前国内外的技术仍然不够成熟,还有许多方面值得去深究。本文基于此现状做了相关的研究,主要包括以下工作:(1)首先,本文对深度学习一些梯度下降方法概念进行梳理总结,介绍了BGD、MBGD、SGD的不同应用环境,并介绍基于SGD改进的优化算法。(2)文章将深度学习下的随机梯度下降方法应用到解决拜占庭故障上,从拜占庭故障模型以及迭代过程入手,同时引入拜占庭弹性概念。(3)文中对比基于中值的拜占庭聚合规则,提出基于截尾均值的新型拜占庭聚合规则。(4)最后文中对基于截尾均值的聚合规则在强凸环境与非强凸环境进行收敛分析,并对基于截尾均值的聚合规则进行节点攻击实验,证明其具有强鲁棒性。