论文部分内容阅读
作为自主智能无人系统的一个重要研究方向,分布式协同控制近年来吸引了社会的高度关注。其原因在于,数据样本往往分散在大规模的网络中,而分布式控制能很好地胜任这种网络结构。在分布式框架下,个体通过利用本地数据以及与其邻居进行信息交互来做出决策,从而使整个网络实现特定的目标。因此,分布式算法与传统的集中式控制算法相比具有很多优势,包括更低的成本、更高的灵活度、更强的鲁棒性、更好的可拓展性等等。很多实际问题可以在分布式优化的框架下得以解决,比如大规模机器学习、智能电网的分布式经济调度、编队控制、传感器网络的分布式估计等。这些应用需要人们设计出完全分散化的算法,使得网络中的个体仅通过本地计算及与其邻居个体交互信息从而合作地优化一个由局部目标函数之和所构成的全局目标函数。本论文主要关注于分布式优化领域一个富有挑战性和实际意义的情形,即网络中节点间的信息交互建模为一般的非平衡有向图。在针对时不变的目标函数提出分布式优化算法后,进一步针对局部目标函数以不确定或对抗的方式发生变化这一动态场景,研究了分布式在线优化问题。论文的主要内容和贡献总结如下:第二章考虑了非平衡有向网络中带有局部状态约束的分布式优化问题。针对此问题,通过利用相邻时刻次梯度信息的差值以及次梯度项尺度变换技术,提出了一种基于一致性协议的分布式优化算法。该算法只要求邻接矩阵为行随机矩阵,这意味着网络中的每个节点不需知道自身的出度即可独立地为所接收的邻居信息赋予权重。重要的是,该算法允许节点被限制在不同的凸集中,这具有更强的实际意义,但同时导致针对不同局部约束集所进行的投影操作将会给算法的收敛性分析带来很大挑战。在常规假设下,严格地证明了所设计的算法能够保证每个节点的状态最终收敛到优化问题的全局精确最优解。数值仿真结果显示本章所设计的算法与相关算法相比具有更好的收敛性能。第三章考虑了通信能力受限情形下非平衡有向网络中的分布式优化问题。为了减轻网络的通信负担,针对强凸且光滑的代价函数设计了一种新颖的量化分布式梯度跟踪算法Q-DGT。与现有基于次梯度的量化分布式优化算法不同,量化机制不能直接融入到分布式梯度跟踪算法DGT中。其原因在于直接融合后的算法会产生随时间而不断累积的量化误差,从而导致算法的线性收敛性能得不到保证。通过精心设计,Q-DGT对量化误差具有很好的鲁棒性,并且继承了DGT及其变体算法的线性收敛性能。重要的是,与DGT算法相比,Q-DGT不需要计算局部代价函数的初始梯度。我们给出了能避免量化饱和的动态自适应量化水平更新规则。通过分析该规则,进一步给出能保证算法线性收敛性能的固定量化水平。最后,将所设计的算法应用于传感器网络中的岭回归问题来验证其有效性。考虑到分布式优化发生的场景常常是动态的,原始的分布式优化算法在这种情形下就不能适用。因此,需要将分布式优化算法推广到在线优化的情形,特别地,局部目标函数随时间而变化并且只有当个体做出决策之后该函数才会被激活。第四章研究了隐私保护情形下非平衡有向网络中带有状态约束的分布式在线优化问题,其中邻接矩阵仅被要求为行随机矩阵。为了解决这个问题,在没有引入第三方权威平台的情形下提出了差分隐私分布式在线优化算法来保护节点的隐私信息。在常规假设条件下,对于强凸的代价函数,严格地证明了算法的静态Regret界限对时间窗T的平均以O(log T/T)的速度渐近收敛到0;更进一步,通过采用Doubling Trick机制移除了算法对时间窗具体数值的依赖,并且对于一般的凸代价函数,证明了所提算法的静态Regret对时间窗的平均以O(T-1/2)的速度收敛到0。这些结果揭示了算法在隐私保护水平和求解精确度之间存在一个平衡,而且所得到的静态Regret界限与现有的相关理论结果相吻合。最后,将所提算法应用到传感器网络的定位问题中验证了算法的有效性。第五章研究了在无法获得精确次梯度信息情形下时变非平衡有向网络中带有状态约束的在线分布式优化问题。与现有文献中算法依赖双随机权重矩阵和精确次梯度值不同,我们基于一致性协议设计了一种新颖的分布式在线优化算法,该算法通过动态地构造行随机矩阵并且对零阶梯度信息进行尺度变换,以处理时变有向网络中的信息传递不平衡性及消除对次梯度信息的需求。在一系列常规条件下,度量了所提算法的动态Regret界限。结果显示,当时变最优解的累积变化以一定的速度次线性增长时,动态Regret对时间窗的平均将以次线性的速度渐近收敛到0的一个有界区域,并且这个区域的大小与算法中的参数有关,因而可以被控制。更进一步,给出了当次梯度信息可以获取时对应的动态Regret结果,结果揭示了所提出的免次梯度算法在本质上并没有因为利用零阶信息替代真实次梯度信息而削弱算法的收敛性能。最后,将所设计的算法应用到传感器网络的动态追踪问题中验证了算法的有效性。