【摘 要】
：
强化学习（RL）的最新进展使得通过反复试错和自学习思想来解决顺序决策问题成为可能。这些成功促使我们将RL的机制引入到多智能体容错一致性（MARC）问题的研究中,即以分布式方式在存在故障节点的情况下实现多智能体状态一致。为了消除来自可疑节点的权重及其相应的影响,本文提出了两种方案。首先,在MARC问题中构造马尔可夫决策过程（MDP）,并应用强化学习算法来训练和学习每个节点的最优策略,我们称之为分布式
论文部分内容阅读
强化学习（RL）的最新进展使得通过反复试错和自学习思想来解决顺序决策问题成为可能。这些成功促使我们将RL的机制引入到多智能体容错一致性（MARC）问题的研究中,即以分布式方式在存在故障节点的情况下实现多智能体状态一致。为了消除来自可疑节点的权重及其相应的影响,本文提出了两种方案。首先,在MARC问题中构造马尔可夫决策过程（MDP）,并应用强化学习算法来训练和学习每个节点的最优策略,我们称之为分布式在线确定性策略梯度（D-OPDPG）算法。其次,为了摆脱神经网络及其耗时的训练过程,进一步引用即时奖励和长期奖励两个概念,分别描述当前时间步的即时信任度和综合信任度,以此来相对准确且稳定的评估邻居节点的好坏,本文称之为基于信誉评估的容错一致性算法（CAC）。实验结果表明,即使在现有典型算法无效的拓扑条件下,两种算法在存在恒定和/或随机错误节点时都表现良好。相比之下,CAC算法由于去除了神经网络的约束,因此其收敛速度更快,时间复杂度更低。此外,作为一种特殊的多智能体系统,去中心化机器学习系统中由于节点自身故障或者遭受外部攻击,一些节点会向其邻居节点传输错误的参数信息,导致系统模型训练失败,这些传输错误信息的节点被称为拜占庭节点。同样依托于强化学习自学习思想,本文结合去中心化机器学习系统的特性,提出一种基于信誉评估的参数聚合规则（CA-PAR）,使用历史性的奖励评估每个邻居节点传输参数的好坏,进而逐步降低拜占庭节点的影响,使得整个系统在有拜占庭节点存在的情况下训练出优秀的模型。在两个图片分类数据集MNIST和CIFAR-10中的实验结果表明,本文提出的算法对五种最先进的攻击方法以及任意数量的错误节点的都有不错的防御表现。并且,与现有的防御算法相比,本文提出的算法在拓扑约束、训练精度和计算成本方面均优于其他防御模型。
其他文献
在如今信息互联的社会中,液晶屏因其高画质、恒定发光、低功耗等优点被广泛应用于各个行业中。大尺寸导光板作为液晶屏显示组件的关键组成部件,其质量特别重要,直接关系到液晶屏的显像效果。然而在导光板的生产加工过程中,由于原材料不洁净,设备的磨损,工艺制约等因素,生产完成的导光板不可避免地会产生各类加工缺陷,如点伤、脏污、线划伤等。目前,导光板生产厂家对导光板的质量检测大多采用人工检测的方式。员工需要在密闭
林业有害生物种类繁多且分布范围广,每年对我国林业造成巨大的经济损失。因此,对林业有害生物进行及时、准确地监测是合理制定林业有害生物防治方案和减少经济损失的前提。其中,对林业有害生物准确识别是林业防控工作的首要任务。然而现有的林业有害生物识别方法主要是依靠工作人员凭经验识别,效率低,客观性差。针对上述问题,本文建立了基于深度双线性转换注意力机制网络的林业有害生物识别模型,开发了基于微信小程序的林业有
互联网技术与通讯设备的高速发展下,传统媒体影响力日渐减弱,以数字化为驱动的软实力将是未来汽车市场竞争的主动力。基于大数据分析的集客式营销利用精准、有效、丰富的信息内容,通过多样化的传播途径进行分众而有效的推广,能吸引潜在顾客主动上门,已越来越受汽车企业的欢迎。目前,各汽车企业都在合作汽车之家、易车、懂车帝等网络集客渠道,希望通过集客式营销寻找到更精准的潜在顾客,获得更高收益转化的同时能减少市场营销
云计算利用虚拟化技术将各类软硬件资源抽象并形成资源池,通过网络按需供应给用户。随着信息技术的发展,Docker作为容器技术的代表在业界得到了广泛的应用,但其只提供镜像和容器功能,因此能够高效进行资源调度以及容器的管理和编排的容器云平台显得尤为重要。Kubernetes作为一款开源平台已在云计算领域被广泛应用,其优异的容器编排能力为用户提供了更为便捷可靠的服务,然而其自身的资源调度策略仍有不足之处,
膜蛋白是细胞功能的主要承担者,其功能与其结构类型密切相关,因此,膜蛋白类型的鉴定是生物信息学中的一项重要课题。传统的生物实验是鉴定膜蛋白类型的最可靠方法,但它效率低、成本高。随着后基因组时代的到来,大量未注释的膜蛋白被发现,使用传统生物实验难以鉴定所有的膜蛋白的类型。基于计算的方法可以有效提高膜蛋白类型鉴定的效率,并降低成本,机器学习方法就是常用的方法之一。已有的膜蛋白特征提取方法主要从膜蛋白序列
随着社会经济的快速进步和发展,城市化的水平不断得到提高,人民生活品质越来越优良,生活垃圾的产量也逐年递增,垃圾围城现象在部分地区越加明显,环境污染的情况也大大增加,引起了广大人民和各级部门的高度重视。机械生物处理技术（Mechanical Biological Treatment,MBT）因其能减少垃圾产量而受到人们青睐,通过MBT工艺,能使现有的垃圾做到减量、减排等效果,但最终得到的产物仍需要进
Memorization is one of the useful learning strategies in the traditional studies of the Chinese language.In the current English studies,students should memorize vocabulary,sentence types and texts.Thi
色彩是纺织产业创新设计中重要的组成部分,随着现代设计领域的快速发展,人们对服装面料、像景织物等的外观效果有了更高的要求,对于织物色彩多样性的需求不断增加,提高色彩提取精度已成为纺织行业技术发展的必然要求。直方图提取法等传统色彩提取方法虽然原理简单易操作,但实际应用中存在分布不均匀、错误分类、效率低等缺点。随着计算机技术的迅猛发展,算法早已成为一种可利用的具有极高价值的潜在资源,可为当代艺术设计提供
“双碳”背景下,汽车轻量化与节能减排是行业发展的必然趋势,也一直是汽车制造商面临的主要问题。板簧是汽车悬架系统中起传递载荷和导向作用的关键零部件,其重量约占非簧载重量的10%～20%。利用复合材料板簧替代传统的钢制板簧,能在不损失承载能力的前提下显著减轻重量,同时复合材料板簧还具有物理化学性能稳定、疲劳寿命高、安全舒适等优点,且装车后可显著降低噪声、振动与声振粗糙度（Noise、Vibration
20世纪末,绘本脱胎于单纯插画在中国兴起,并随着“读图时代”的到来进入发展快车道。绘本视觉语言的创新无疑成为其发展的重要沿革之一,而首先想到的应是作为视觉语言革新的主导载体——材料。对材料探索的多种可能性直接指向绘本艺术语言及其形式的无限延伸领域。换言之,绘本艺术语言的魅力在材料的多元表现中得到释放和新生。本次毕业创作通过对中国传统陶瓷艺术材料——高温颜色釉的学习,选择以高温颜色釉瓷材为绘本创作媒