传统的信息处理系统由采集-传输-处理-反馈控制四大分立过程组成,其中前端传感器采集的数据通过网络汇总至数据中心进行集中处理,数据中心通过网络往前端执行部件发布控制命令。这样的模式存在网络容量受限、链路反馈延时长和系统鲁棒性差等三大缺陷。网络化处理是将采集-传输-处理-反馈控制融合于网络之中,网络既是数据来源和存储载体,又是信息传输、处理和反馈控制的执行者。这样的模式可以有效克服上述的三大缺陷。在网络化处理中,最优化问题受到广泛关注。一方面,信号处理、模式识别、机器学习和通信理论等多个领域的问题都可表示为最优化形式。另一方面,网络中对于节点协作、传输形式、能量约束等物理要求可以自然地建模为最优化形式。本文主要研究网络化的并行与分布式优化算法。其中一方面,要对优化目标进行并行或分布式解耦以替代传统的集中式处理。另一方面,必须考虑网络的实际拓扑,需要设计特定的信息交互方式以减少计算过程中的通信开销。本文的理论基础来源于经典优化理论,在第2章中介绍了无约束和有约束优化问题的一般性解法,并对并行和分布式解耦的一般性方法进行了总结。第2章中还证明了无约束和有约束形式在某些情况下存在等价转换,这种转换更利于优化问题的并行和分布式解耦。以节点间通信方式划分,网络化的优化算法可以分为局部融合、接力传递和局部广播三大类。第一类的现有算法针对优化变量大都采取单一处理方式,但在并行和分布式解耦过程中可能引入优化难度不同的多变量。鉴于这种情况,第3章和第4章对多变量选择不同的处理函数,构成交替计算的同步快速优化算法。其中,第3章的算法处理的是一般形式的双变量目标函数,第4章则进一步考虑了带局部可行域的不可导凸函数。这两章的算法中节点间通信采用局部融合的方式,避免了全局的信息交互,降低了通信复杂度。仿真结果表明,相比采用单一处理方式的现有算法,所提算法在计算复杂度和通信复杂度两方面都有优势。同步的局部融合中,每个节点变量更新都需要获取网络中邻居的数据,这伴随着较大的通信开销。因此,在第5章中引入近年发展起来的增量次梯度算法,以实现接力式的分布式优化。通过应用于分布式信号估计的仿真,表明该方式比现有基于局部融合的优化算法要更节省通信开销。为了在降低通信开销的同时,进一步提高计算并行度,在第6章中提出基于随机广播的分布式优化算法。其中,每个节点按照一定概率随机广播自己的数据,成功接收到的节点进行局部计算。在此过程中,还考虑了网络中的传输碰撞。本文中的算法都给出了应用示例,但这些算法并不是针对某些特殊问题提出的,完全可以运用到其他网络优化的场景中去。作为对未来延续的展望,本文的算法可以结合网络中的传输延时,拓扑变动,量化传输等内容进行讨论。