本文考虑两类优化问题的数值方法:最优控制问题和随机优化问题.最优控制问题在过去几十年内迅速地发展为应用和计算数学领域中的重要分支.最优控制问题是科学研究,工业与工程,金融投资等众多学科或过程中涉及到具体实现的关键问题,例如地球物理,气候科学,材料科学,医学成像,形状设计,机械制造,期权定价等等.层出不穷的实际问题,持续地推动着最优控制问题的理论和方法的发展,不停地激发着研究者们设计和分析求解最优控制问题的数值方法的热情与动力.最优控制问题的目标是:以期望的方式影响或者控制由偏微分方程描述的系统,找到系统内满足要求的最优的“控制”,从而使得系统内的“状态”尽可能地接近或者达到理想的状态.我们主要考虑带Possion方程约束最优控制问题的数值求解方法,其形式可以抽象地表述为以下Banach空间中的线性约束凸优化问题:（?）J（y,u）=Φ（y）+Ψ（u）s.t.Ay+Bu=p,u∈uad.这里函数u表示系统中的“控制”,函数y表示系统中的“状态”,线性约束Ay+Bu=p由不同类型的Possion方程的变分形式描述.我们借助有限元方法对连续形式的最优控制问题进行离散,得到Rn中的线性约束优化问题:（?）Jh（yh,uh）=Φh（yh）+Ψh（uh）s.t.Ayh+Buh=ph,uh∈Uadh,这里矩阵A,B为有限元离散后形成的刚度矩阵,yh,uh,ph为Rn中的向量.可以明显地看出,上述问题具有可分离结构,一个自然的想法是借助交替方向乘子法求解这类问题.交替方向乘子法是一类广为人知的优化算法,能够高效地求解带线性约束的可分离结构型凸优化问题.对于不同控制类型的Possion方程约束最优控制问题的离散形式,本文设计了不同的交替方向乘子法迭代格式进行求解.本文数值方法的误差分析,包括有限元离散的逼近误差和交替方向乘子法的迭代误差,同时以目标泛函的形式|J（y*,u*）-Jh（yhK,uhK）|给出总体的误差估计,其中（y*,u*）表示Possion方程约束最优控制问题的最优解,（yhK,yhK）表示离散问题的迭代解,符号K表示迭代总次数.针对本文设计的数值方法,我们进行不同的数值试验,试验结果表明我们的数值方法能够有效地数值求解该类最优控制问题.随机优化问题的身影在人工智能领域随处可见.统计学习,机器学习和深度学习等技术的实现依赖于随机优化问题的求解,由此产生的智能系统:搜索引擎、推荐平台、语音和图像识别软件等等,已经成为我们日常生活不可或缺的一部分.随机优化方法在不同学习模型中的成功应用和实践,始终推动着研究人员寻求解决不同随机优化问题的新方法.本文提出分块镜像随机梯度方法用以求解随机优化问题（?）f（x）=E[F（x,ξ）],和随机复合优化问题#12与一般的问题不同,本文考虑问题的可行域χ具有可分结构,而且变量x相应地能够分为若干独立的子块.本文设计的分块镜像随机梯度方法吸收了经典的镜像随机逼近方法和分块坐标梯度下降方法的特点,前者能够高效地求解随机优化问题或者大规模优化问题,后者处理变量拥有多个分块结构的优化问题的效果显著.基于随机一阶策略构造的随机次梯度,分块镜像随机梯度方法在每一步迭代中以Gauss-Seidel类的更新方式循环地更新每个子块,并且可以任意的选择各个子块的迭代顺序.我们分析了该算法对于随机优化问题在一般的凸情形和在强凸情形下的收敛性,同时也建立了对于随机复合优化问题在一般凸情形,强凸情形以及非凸情形下的收敛性分析.对于一般的凸情形以及强凸情形下的随机优化问题和随机复合优化问题,分块镜像随机梯度方法的收敛率与经典的随机梯度法完全一致.对于随机复合非凸优化问题,我们借助复合投影梯度的概念分析了算法的收敛性质,对迭代点收敛到稳定点的收敛率进行了估计.不论是凸情形还是非凸情形,本文的收敛性分析都不是平凡的.Gauss-Seidel类型的子块更新方式使得传统的梯度误差无偏假设不再成立,因此我们需要提出更有针对性的假设,同时进行相应的分析.本文的数值试验表明,分块镜像随机梯度方法能够有效地用于求解随机优化问题.与已有的随机优化方法相比较,分块镜像随机梯度方法在不同方面的表现更好.