论文部分内容阅读
摘要
针对网络化多智能体的分布式优化问题，本文讨论一种只利用邻居相对状态的符号信息的分布式算法.该算法不要求与图相关的权重矩阵是双随机矩阵.首先利用优化理论中的惩罚函数法解释该算法，然后分析算法在静态图上的收敛性以及收敛速度.与现有使用邻居相对状态的完整信息的分布式梯度下降算法相比，所提算法的收敛速度并没有本质上降低.另一方面，将所提算法扩展到确定性和随机性的时变图上，并给出相应的收敛性结论.最后，通过数值仿真实验验证算法的有效性.
关键词
分布式优化;多智能体网络;相对状态符号;惩罚函数法;次梯度方法
中图分类号 TP13
文献标志码 A
0 引言
近些年来，多智能体系统中的分布式优化问题得到了越来越多的关注.分布式优化是指多智能体系统中的所有智能体协作寻找一个全局目标函数的最小值点，这个全局目标函数是每个智能体的局部目标函数之和.分布式优化问题的一个显著特点是每个智能体只知道其对应的局部目标函数，因此智能体之间必须合作.通常用图来表示智能体之间的通信拓扑结构.分布式优化问题在实际中有很多应用，比如AUV（自主式水下机器人）的队形控制[1] 、大规模机器学习[2-4] 以及传感器网络中的分位点回归问题[5] 等.
求解这类问题的主要算法（参考文献[6-8]以及文中所引用的参考文献）通常由两部分组成.第一部分是为了使所有智能体的状态趋于一致，我们称之为一致项，它通常基于现有的一致性算法[9] .第二部分是使达到一致后智能体的状态收敛到全局目标函数的最小值点，这一部分可利用的信息通常是每个智能体局部目标函数的值及其次梯度，因此次梯度算法被广泛采用.为了实现所有智能体状态一致的目标，现有主流算法要求每个智能体能够获得它的邻居智能体的状态的精确值[8-9] 或者量化值[10-11] .但是，有些情况下智能体只能获得它和它邻居之间粗略的相对状态信息.比如，考虑这样的场景，多个智能体（机器人）在二维平面上运动，每个智能体只知道邻近智能体是在它的左边或者右边、上边或者下边，而不是准确的相对位置信息.因此，这种情形下每个智能体在每个坐标轴下只能从邻居那里获得相对位置的符号信息.这与智能体的量化状态工作信息[11] 显著不同，这些工作利用智能体的状态量化值而不是精确值.此外，也有别于利用量化梯度信息的研究[12] .总之，大部分已有的工作，都不能处理只使用相对状态符号信息的情况.除此之外，本文所提算法的另一个优点是不要求智能体之间的交互矩阵满足双随机性，而只要求是对称的.注意到双随机矩阵的假设在已有算法中很常见[6，13-14] ，但是在实际的分布式优化问题中可能难以满足.比如，常用的构造双随机矩阵的Metropolis方法需要每个智能体都知道邻居的出度，这在实际应用中可能无法满足，特别是当智能体之间的通信拓扑是时变的情形.
设计基于相对状态符号信息的算法往往涉及到非线性分析，因此和大多数利用代数图论作为分析工具的算法有本质不同.在文献[15]中，作者提出了一种只利用1比特相对状态信息的一致性算法， 但并没有考虑优化问题.类似的算法可以用来计算数据的中位点[16] .文献[17]中的算法和本文最为接近，但它是一个连续时间下的算法，并且采用了和本文完全不同的分析方法，我们将在后文进行更深入的比较.
实际上，现有使用相对状态符号信息的工作都是考虑连续时间下的情况.但是，离散时间下的算法是有必要研究的，因为很多算法都要求不同智能体之间能够进行通信并需要对智能体进行控制，而目前实际应用中的通信和控制信号往往是离散的.除此之外，离散时间下的算法实施起来也更简单.另一方面，连续时间下的算法往往基于李雅普诺夫理论，通过构造李雅普诺夫函数进行分析，而离散时间算法中引入的步长通常不能保证李雅普诺夫函数单调不增.因此，李雅普诺夫方法很难应用在离散时间算法的分析中，需要新的分析工具来研究这种非线性离散时间下的算法，这也是本文关心的问题.
具体来说，本文讨论离散时间下只利用相对状态符号信息的分布式优化算法.和大多数已有方法不同，本文的分析基于优化理论而不是代数图论或李雅普诺夫理论.采用优化理论进行分析有两点潜在的好处.首先，目前主要研究思路是先提出一个算法，然后找到一个李雅普诺夫函数来证明算法的稳定性和收敛性.与之相比，基于优化理论得到的算法在直观上更容易被理解和接受，因为我们的算法实质上是在最小化一个经过精心设计的目标函数.其次，丰富的优化理论使得所提算法更容易扩展和改进.比如，我们在时变图上得到的算法就是在静态图上算法的一个直接扩展.具体来说，我们将静态图上的算法扩展到了确定性时变图和随机时变图上，其中确定性时变图能够用来表示实际应用中智能体间时变的通信拓扑，而随机时变图则可以描述gossip网络和通信网络中的随机丢包等现象.基于优化理论，本文分别采用了增量式梯度方法和随机梯度法来设计和分析确定性时变图和随机时变图上的算法.
本文的主要结论如下：对于一个静态图，证明了所有智能体的状态在所提算法下都会渐近收敛到全局目标函数的同一个最小值点，并且收敛速度相对于已有算法没有本质上的降低;对于确定性时变图，引入了一致连通的概念，并且证明了算法在一致连通图下的收敛性;对于随机时变圖，考虑了一种特殊的情况——随机激活图，并且在概率1的意义下证明了算法在随机激活图下的收敛性.
本文其余部分的结构如下：第1节介绍一些预备知识并且给出分布式优化问题的定义;第2节介绍所提出的离散时间下基于相对状态符号信息的分布式优化算法;第3节包含算法在静态图上的收敛性和收敛速度分析;第4节研究算法在一致连通图和随机激活图上的收敛性;在第5节中利用所提算法进行数值仿真并将仿真结果和理论结果进行了比较;第6节对全文进行总结. 6 總结
本文讨论了一种分布式优化算法求解多智能体系统中具有加和形式目标函数的优化问题，该算法的特点是只需要利用节点之间相对状态的符号信息.此外，该算法可以应用于静态以及时变的网络结构.在静态的网络结构下，首先利用优化理论中的惩罚函数方法来解释了所提算法，然后分析了算法在衰减步长和常数步长下的收敛性，最后证明了算法的收敛速度介于O（1/ln（k））和O（1/ k ）之间.在时变网络下，我们讨论了算法在一致连通图和随机激活图下的性能，并给出了相应的收敛性结论.最后，通过一个分布式寻找几何中心的例子，利用数值仿真实验说明了算法的有效性，并进一步验证了理论结果.
致谢 本文作者非常感谢Tamer Basarar 教授对本文内容提出的一些宝贵建议.本文工作受到了国家自然科学基金（61722308） 以及国家重点基础研究专项基金（2017YFC0805310）的资助.
参考文献
References
[ 1 ] You K，Xie L.Network topology and communication data rate for consensusability of discrete-time multi-agent systems[J].IEEE Transactions on Automatic Control，2011，56（10）：2262-2275
[ 2 ] You K，Tempo R，Xie P.Distributed algorithms for robust convex optimization via the scenario approach[J].IEEE Transactions on Automatic Control，2018，DOI：10.119/TAC.2018.2828093
[ 3 ] Cevher V，Becker S，Schmidt M.Convex optimization for big data：scalable，randomized，and parallel algorithms for big data analytics[J].IEEE Signal Processing Magazine，2014，31（5）：32-43
[ 4 ] Nedi c ' A，Olshevsky A，Rabbat M G.Network topology and communication-computation tradeoffs in decentralized optimization[J].Proceedings of the IEEE，2018，106（5）：953-976
[ 5 ] Wang H，Li C.Distributed quantile regression over sensor networks[J].IEEE Transactions on Signal & Information Processing Over Networks，2017，DOI：10.1109/TSIPN.2017.2699923
[ 6 ] Nedic A，Ozdaglar A.Distributed subgradient methods for multi-agent optimization[J].IEEE Transactions on Automatic Control，2009，54（1）：48-61
[ 7 ] Li T，Fu M，Xie L，et al.Distributed consensus with limited communication data rate[J].IEEE Transactions on Automatic Control，2011，56（2）：279-292
[ 8 ] Nedic A，Olshevsky A.Distributed optimization over time-varying directed graphs[C]∥Decision and Control.IEEE，2013：6855-6860
[ 9 ] Olfati-Saber R，Murray R M.Consensus problems in networks of agents with switching topology and time-delays[J].IEEE Transactions on Automatic Control，2004，49（9）：1520-1533
[10] Yi P，Hong Y.Quantizedsubgradient algorithm and data-rate analysis for distributed optimization[J].
IEEE Transactions on Control of Network Systems，2014，1（4）：380-392
[11] Pu Y，Zeilinger M N，Jones C N.Quantization design for distributed optimization[J].IEEE Transactions on Automatic Control，2017，62（5）：2107-2120
[12] Magnússon S，Enyioha C，Li N，et al.Convergence of limited communications gradient methods[J].IEEE Transactions on Automatic Control，2017，DOI：10.1109/TAC.2017，2743678 [13] Shi W，Ling Q，Wu G，et al.EXTRA：an exact first-order algorithm for decentralized consensus optimization[J].SIAM Journal on Optimization，2014，25（2）：944-966
[14] Mokhtari A，Ling Q，Ribeiro A.Network newton distributed optimization methods[J].IEEE Transactions on Signal Processing，2017，65（1）：146-161
[15] Chen G，Lewis F L，Xie L.Finite-time distributed consensus via binary control protocols[J].Automatica，2011，47（9）：1962-1968
[16] Franceschelli M，Giua A，Pisano A.Finite-time consensus on the median value with robustness properties[J].IEEE Transactions on Automatic Control，2017，62（4）：1652-1667
[17] Lin P，Ren W，Farrell J A.Distributed continuous-time optimization：nonuniform gradient gains，finite-time convergence，and convex constraint set[J].IEEE Transactions on Automatic Control，2017，62（5）：2239-2253
[18] Clarke F H，Stern R J，Ledyaev Y S，et al.Nonsmooth analysis and control theory[J].Graduate Texts in Mathematics，1998，178（7）：137-151
[19] Bertsekas D P.Convex optimization algorithms[M].Athena Scientific，2016
[20]ZhangJ，YouK，Basar T.Distributed discrete-time optimization in multi-agent networks using only sign of relative state[J].IEEE Transactions on Automatic Control，2018，Conditionally Accepted
[21] ZHANG Jiaqi，YOU Keyou.Distributed optimization in multi-agent networks using one-bit of relative state information[M]∥Basar Tamer.Uncertainty in Complex Networked Systems，Birkuser，2018
[22] Zhang J，You K.Distributed optimization with binary relative information over deterministically time-varying graphs[C]∥The 57th IEEE Conference on Decision and Control，Miami Beach，FL，USA，2018，Accepted
[23] Borkar V S.Stochastic approximation：a dynamical systems viewpoint[C]∥Baptism’s 91 Witnesses，2008
[24] CohenM B，Lee Y T，Miller G，et al.Geometric median in nearly linear time[C]∥Proceedings of the Forty-Eighth Annual ACM Symposium on Theory of Computing，ACM，2016：9-21
[25] Beck A，Sabach S.Weiszfeld’s method：old and new results[J].Journal of Optimization Theory and Applications，2015，164（1）：1-40
Distributed optimization using the sign of relative state information
ZHANG Jiaqi1，2 YOU Keyou1，2
1 Department of Automation，Tsinghua University，Beijing 100084
2 Beijing National Research Centre for Information Science and Technology，Tsinghua Univesity，Beijing 100084
Abstract The design of distributed discrete-time algorithms to cooperatively solve an additive cost optimization problem in multi-agent networks is presented in this paper.The striking feature of the distributed algorithms lies in the use of only the sign of the relative state information between neighbors;which substantially differentiates our algorithms from the existing ones.Moreover，the algorithm does not require the interaction matrix to be doubly stochastic.We first interpret the proposed algorithms in terms of the penalty method in the optimization theory and then perform a non-asymptotic analysis to study the convergence for static network graphs.Compared with the celebrated distributed subgradient algorithms，which，however，use the exact relative state information，the convergence speed in the proposed algorithms is essentially not affected by the loss of information.We also extend our results to the cases of deterministically and randomly time-varying graphs.Finally，we validate the theoretical results through simulations.
Key words distributed optimization;multi-agent networks;sign of relative state;penalty method;subgradient iterations
针对网络化多智能体的分布式优化问题，本文讨论一种只利用邻居相对状态的符号信息的分布式算法.该算法不要求与图相关的权重矩阵是双随机矩阵.首先利用优化理论中的惩罚函数法解释该算法，然后分析算法在静态图上的收敛性以及收敛速度.与现有使用邻居相对状态的完整信息的分布式梯度下降算法相比，所提算法的收敛速度并没有本质上降低.另一方面，将所提算法扩展到确定性和随机性的时变图上，并给出相应的收敛性结论.最后，通过数值仿真实验验证算法的有效性.
关键词
分布式优化;多智能体网络;相对状态符号;惩罚函数法;次梯度方法
中图分类号 TP13
文献标志码 A
0 引言
近些年来，多智能体系统中的分布式优化问题得到了越来越多的关注.分布式优化是指多智能体系统中的所有智能体协作寻找一个全局目标函数的最小值点，这个全局目标函数是每个智能体的局部目标函数之和.分布式优化问题的一个显著特点是每个智能体只知道其对应的局部目标函数，因此智能体之间必须合作.通常用图来表示智能体之间的通信拓扑结构.分布式优化问题在实际中有很多应用，比如AUV（自主式水下机器人）的队形控制[1] 、大规模机器学习[2-4] 以及传感器网络中的分位点回归问题[5] 等.
求解这类问题的主要算法（参考文献[6-8]以及文中所引用的参考文献）通常由两部分组成.第一部分是为了使所有智能体的状态趋于一致，我们称之为一致项，它通常基于现有的一致性算法[9] .第二部分是使达到一致后智能体的状态收敛到全局目标函数的最小值点，这一部分可利用的信息通常是每个智能体局部目标函数的值及其次梯度，因此次梯度算法被广泛采用.为了实现所有智能体状态一致的目标，现有主流算法要求每个智能体能够获得它的邻居智能体的状态的精确值[8-9] 或者量化值[10-11] .但是，有些情况下智能体只能获得它和它邻居之间粗略的相对状态信息.比如，考虑这样的场景，多个智能体（机器人）在二维平面上运动，每个智能体只知道邻近智能体是在它的左边或者右边、上边或者下边，而不是准确的相对位置信息.因此，这种情形下每个智能体在每个坐标轴下只能从邻居那里获得相对位置的符号信息.这与智能体的量化状态工作信息[11] 显著不同，这些工作利用智能体的状态量化值而不是精确值.此外，也有别于利用量化梯度信息的研究[12] .总之，大部分已有的工作，都不能处理只使用相对状态符号信息的情况.除此之外，本文所提算法的另一个优点是不要求智能体之间的交互矩阵满足双随机性，而只要求是对称的.注意到双随机矩阵的假设在已有算法中很常见[6，13-14] ，但是在实际的分布式优化问题中可能难以满足.比如，常用的构造双随机矩阵的Metropolis方法需要每个智能体都知道邻居的出度，这在实际应用中可能无法满足，特别是当智能体之间的通信拓扑是时变的情形.
设计基于相对状态符号信息的算法往往涉及到非线性分析，因此和大多数利用代数图论作为分析工具的算法有本质不同.在文献[15]中，作者提出了一种只利用1比特相对状态信息的一致性算法， 但并没有考虑优化问题.类似的算法可以用来计算数据的中位点[16] .文献[17]中的算法和本文最为接近，但它是一个连续时间下的算法，并且采用了和本文完全不同的分析方法，我们将在后文进行更深入的比较.
实际上，现有使用相对状态符号信息的工作都是考虑连续时间下的情况.但是，离散时间下的算法是有必要研究的，因为很多算法都要求不同智能体之间能够进行通信并需要对智能体进行控制，而目前实际应用中的通信和控制信号往往是离散的.除此之外，离散时间下的算法实施起来也更简单.另一方面，连续时间下的算法往往基于李雅普诺夫理论，通过构造李雅普诺夫函数进行分析，而离散时间算法中引入的步长通常不能保证李雅普诺夫函数单调不增.因此，李雅普诺夫方法很难应用在离散时间算法的分析中，需要新的分析工具来研究这种非线性离散时间下的算法，这也是本文关心的问题.
具体来说，本文讨论离散时间下只利用相对状态符号信息的分布式优化算法.和大多数已有方法不同，本文的分析基于优化理论而不是代数图论或李雅普诺夫理论.采用优化理论进行分析有两点潜在的好处.首先，目前主要研究思路是先提出一个算法，然后找到一个李雅普诺夫函数来证明算法的稳定性和收敛性.与之相比，基于优化理论得到的算法在直观上更容易被理解和接受，因为我们的算法实质上是在最小化一个经过精心设计的目标函数.其次，丰富的优化理论使得所提算法更容易扩展和改进.比如，我们在时变图上得到的算法就是在静态图上算法的一个直接扩展.具体来说，我们将静态图上的算法扩展到了确定性时变图和随机时变图上，其中确定性时变图能够用来表示实际应用中智能体间时变的通信拓扑，而随机时变图则可以描述gossip网络和通信网络中的随机丢包等现象.基于优化理论，本文分别采用了增量式梯度方法和随机梯度法来设计和分析确定性时变图和随机时变图上的算法.
本文的主要结论如下：对于一个静态图，证明了所有智能体的状态在所提算法下都会渐近收敛到全局目标函数的同一个最小值点，并且收敛速度相对于已有算法没有本质上的降低;对于确定性时变图，引入了一致连通的概念，并且证明了算法在一致连通图下的收敛性;对于随机时变圖，考虑了一种特殊的情况——随机激活图，并且在概率1的意义下证明了算法在随机激活图下的收敛性.
本文其余部分的结构如下：第1节介绍一些预备知识并且给出分布式优化问题的定义;第2节介绍所提出的离散时间下基于相对状态符号信息的分布式优化算法;第3节包含算法在静态图上的收敛性和收敛速度分析;第4节研究算法在一致连通图和随机激活图上的收敛性;在第5节中利用所提算法进行数值仿真并将仿真结果和理论结果进行了比较;第6节对全文进行总结. 6 總结
本文讨论了一种分布式优化算法求解多智能体系统中具有加和形式目标函数的优化问题，该算法的特点是只需要利用节点之间相对状态的符号信息.此外，该算法可以应用于静态以及时变的网络结构.在静态的网络结构下，首先利用优化理论中的惩罚函数方法来解释了所提算法，然后分析了算法在衰减步长和常数步长下的收敛性，最后证明了算法的收敛速度介于O（1/ln（k））和O（1/ k ）之间.在时变网络下，我们讨论了算法在一致连通图和随机激活图下的性能，并给出了相应的收敛性结论.最后，通过一个分布式寻找几何中心的例子，利用数值仿真实验说明了算法的有效性，并进一步验证了理论结果.
致谢 本文作者非常感谢Tamer Basarar 教授对本文内容提出的一些宝贵建议.本文工作受到了国家自然科学基金（61722308） 以及国家重点基础研究专项基金（2017YFC0805310）的资助.
参考文献
References
[ 1 ] You K，Xie L.Network topology and communication data rate for consensusability of discrete-time multi-agent systems[J].IEEE Transactions on Automatic Control，2011，56（10）：2262-2275
[ 2 ] You K，Tempo R，Xie P.Distributed algorithms for robust convex optimization via the scenario approach[J].IEEE Transactions on Automatic Control，2018，DOI：10.119/TAC.2018.2828093
[ 3 ] Cevher V，Becker S，Schmidt M.Convex optimization for big data：scalable，randomized，and parallel algorithms for big data analytics[J].IEEE Signal Processing Magazine，2014，31（5）：32-43
[ 4 ] Nedi c ' A，Olshevsky A，Rabbat M G.Network topology and communication-computation tradeoffs in decentralized optimization[J].Proceedings of the IEEE，2018，106（5）：953-976
[ 5 ] Wang H，Li C.Distributed quantile regression over sensor networks[J].IEEE Transactions on Signal & Information Processing Over Networks，2017，DOI：10.1109/TSIPN.2017.2699923
[ 6 ] Nedic A，Ozdaglar A.Distributed subgradient methods for multi-agent optimization[J].IEEE Transactions on Automatic Control，2009，54（1）：48-61
[ 7 ] Li T，Fu M，Xie L，et al.Distributed consensus with limited communication data rate[J].IEEE Transactions on Automatic Control，2011，56（2）：279-292
[ 8 ] Nedic A，Olshevsky A.Distributed optimization over time-varying directed graphs[C]∥Decision and Control.IEEE，2013：6855-6860
[ 9 ] Olfati-Saber R，Murray R M.Consensus problems in networks of agents with switching topology and time-delays[J].IEEE Transactions on Automatic Control，2004，49（9）：1520-1533
[10] Yi P，Hong Y.Quantizedsubgradient algorithm and data-rate analysis for distributed optimization[J].
IEEE Transactions on Control of Network Systems，2014，1（4）：380-392
[11] Pu Y，Zeilinger M N，Jones C N.Quantization design for distributed optimization[J].IEEE Transactions on Automatic Control，2017，62（5）：2107-2120
[12] Magnússon S，Enyioha C，Li N，et al.Convergence of limited communications gradient methods[J].IEEE Transactions on Automatic Control，2017，DOI：10.1109/TAC.2017，2743678 [13] Shi W，Ling Q，Wu G，et al.EXTRA：an exact first-order algorithm for decentralized consensus optimization[J].SIAM Journal on Optimization，2014，25（2）：944-966
[14] Mokhtari A，Ling Q，Ribeiro A.Network newton distributed optimization methods[J].IEEE Transactions on Signal Processing，2017，65（1）：146-161
[15] Chen G，Lewis F L，Xie L.Finite-time distributed consensus via binary control protocols[J].Automatica，2011，47（9）：1962-1968
[16] Franceschelli M，Giua A，Pisano A.Finite-time consensus on the median value with robustness properties[J].IEEE Transactions on Automatic Control，2017，62（4）：1652-1667
[17] Lin P，Ren W，Farrell J A.Distributed continuous-time optimization：nonuniform gradient gains，finite-time convergence，and convex constraint set[J].IEEE Transactions on Automatic Control，2017，62（5）：2239-2253
[18] Clarke F H，Stern R J，Ledyaev Y S，et al.Nonsmooth analysis and control theory[J].Graduate Texts in Mathematics，1998，178（7）：137-151
[19] Bertsekas D P.Convex optimization algorithms[M].Athena Scientific，2016
[20]ZhangJ，YouK，Basar T.Distributed discrete-time optimization in multi-agent networks using only sign of relative state[J].IEEE Transactions on Automatic Control，2018，Conditionally Accepted
[21] ZHANG Jiaqi，YOU Keyou.Distributed optimization in multi-agent networks using one-bit of relative state information[M]∥Basar Tamer.Uncertainty in Complex Networked Systems，Birkuser，2018
[22] Zhang J，You K.Distributed optimization with binary relative information over deterministically time-varying graphs[C]∥The 57th IEEE Conference on Decision and Control，Miami Beach，FL，USA，2018，Accepted
[23] Borkar V S.Stochastic approximation：a dynamical systems viewpoint[C]∥Baptism’s 91 Witnesses，2008
[24] CohenM B，Lee Y T，Miller G，et al.Geometric median in nearly linear time[C]∥Proceedings of the Forty-Eighth Annual ACM Symposium on Theory of Computing，ACM，2016：9-21
[25] Beck A，Sabach S.Weiszfeld’s method：old and new results[J].Journal of Optimization Theory and Applications，2015，164（1）：1-40
Distributed optimization using the sign of relative state information
ZHANG Jiaqi1，2 YOU Keyou1，2
1 Department of Automation，Tsinghua University，Beijing 100084
2 Beijing National Research Centre for Information Science and Technology，Tsinghua Univesity，Beijing 100084
Abstract The design of distributed discrete-time algorithms to cooperatively solve an additive cost optimization problem in multi-agent networks is presented in this paper.The striking feature of the distributed algorithms lies in the use of only the sign of the relative state information between neighbors;which substantially differentiates our algorithms from the existing ones.Moreover，the algorithm does not require the interaction matrix to be doubly stochastic.We first interpret the proposed algorithms in terms of the penalty method in the optimization theory and then perform a non-asymptotic analysis to study the convergence for static network graphs.Compared with the celebrated distributed subgradient algorithms，which，however，use the exact relative state information，the convergence speed in the proposed algorithms is essentially not affected by the loss of information.We also extend our results to the cases of deterministically and randomly time-varying graphs.Finally，we validate the theoretical results through simulations.
Key words distributed optimization;multi-agent networks;sign of relative state;penalty method;subgradient iterations