近年来,传感技术、通信网络和数字系统的快速发展推动大规模网络化系统的出现,如传感网、移动网和互联网。这些网络化系统反过来又产生新的应用领域,如智能电力网络、社会和经济网络、流行病网络和机器人网络等。这些应用通常需要各种优化技术来解决网络本身所存在的核心优化问题,包括资源分配、参数估计和机器学习等。因此,开发新的技术解决大规模网络化系统的优化问题变得至关重要。由于网络化系统的分布性,传统的集中式方法不适合解决这些大规模优化问题。一方面,集中式框架受性能限制,如较高的通信和计算要求、单点故障以及有限的灵活性和可扩展性。另一方面,将以分布式方式收集的数据传输到中心节点的成本过高,且可能造成敏感信息（隐私）泄露。因此,研究分布式优化算法解决大规模网络化系统的优化问题成为必然。此外,大数据应用的出现进一步激发科研人员对分布式优化日益增长的兴趣。本文针对当前网络化系统分布式优化问题,致力于从有效性（通信和计算）和隐私性的角度研究高效的分布式优化算法。主要结果包含以下几个方面:（1）研究了网络化系统分布式组合（光滑和非光滑函数之和）约束优化问题。受现代机器学习中大规模信息处理问题（训练数据集的样本随机分布在多个计算节点上）的启发,每个光滑目标函数可认为是多个组成函数的平均。为了以分布式的方式解决这个问题,本文利用方差缩减技术和分布式投影方法,提出了一种计算有效的分布式随机梯度算法。理论分析表明,当常数步长小于显式估计的上界且每个组成函数（光滑）都是强凸时,所提出的算法能期望收敛到精确最优解。与现有分布式方法相比,所提出的算法不仅适用于解决具有一般约束的组合优化问题,而且就局部梯度计算次数而言具有较低的计算成本。最后,仿真实验验证了算法的良好性能。（2）研究了网络化系统分布式机器学习优化问题。分布式优化在许多大规模机器学习任务中扮演重要角色,在这些任务中,训练数据集的样本在多个计算节点之间随机分布。此外,每个目标函数可看作是多个组成函数的平均。由于现实因素的存在,同时具有通信和计算有效的分布式加速算法还没有进行研究。本文利用Nesterov加速机制和梯度跟踪技术,提出了一种双有效的随机分布式加速算法,该算法分别利用事件触发策略提高通信效率和方差缩减技术提高计算效率。理论分析表明,当选择合适的常数步长以及每个组成函数都是强凸且光滑时,所提出的算法能期望线性收敛到精确最优解。在一定条件下,证明了对每个节点,两个连续触发时刻之间的时间间隔大于迭代间隔。最后,仿真实验验证了算法的良好性能。（3）研究了时变非平衡有向环境下网络化系统分布式在线优化的隐私保护问题。网络中节点的主要目的是合作地最小化所有局部凸目标函数（时变）之和,同时保护自身隐私。为了解决这类问题,本文提出了一种差分隐私分布式随机次梯度推送算法。与现有的不考虑隐私问题的分布式方法不同,所提出的算法通过差分隐私策略成功地保护了参与节点的隐私信息,在军事、医疗等涉及隐私的应用中更具实用性。所提出的算法的一个重要特征是在时变非平衡有向网络下解决分布式在线优化问题。理论分析表明,所提出的算法不仅可以有效地保证差分隐私,而且能够获得次线性遗憾,并进一步揭示了算法的隐私水平和准确性之间的折衷。此外,本文探讨了所提出的算法对通信链路中存在信息传输延迟的鲁棒性。最后,仿真实验验证了算法的良好性能。（4）研究了非平衡有向环境下网络化系统分布式资源分配的隐私保护问题。基于分布式优化的资源分配问题以其可扩展性、鲁棒性和灵活性等优点成为研究热点。分布式资源分配的目的是每个节点仅与其邻居进行通信,并尝试在满足网络资源约束和本地容量限制的同时最小化自身目标函数。随着数据安全的出现和复杂计算的需求,这一领域的研究又重新兴起。为了解决分布式资源分配,同时考虑隐私安全和计算效率的问题,本文提出了一种隐私保护分布式随机休眠算法,较好地适用于非平衡有向网络。一方面,该算法通过在状态交换中加入条件噪声,有效地保护了隐私。另一方面,将随机休眠策略应用在算法设计中,有效地提高了计算效率。理论分析表明,所提出的算法能够在保护隐私的同时实现资源的最优分配。最后,仿真实验验证了算法的良好性能。