近年来,伴随着大数据的兴起,大规模正则化经验风险极小化问题出现在各个领域中。作为一种求解此类大规模问题的途径,临近增量累积梯度方法（PIAG）得到了研究者的广泛关注。临近增量累积梯度方法可对应多种具体的算法实现,包括循环指标、随机指标、中心分布式等,因而有着广泛的应用前景。本文对PIAG将会涉及的研究工作进行了系统的设想和构建,从非精确算法、Bregman距离、加速格式、非凸分析、对偶算法、原对偶算法以及单调算子包含问题等多个重要方面来探索PIAG格式,提出了若干增量累积类型的新格式,得到了诸多新型的与改进的理论结果。本文的主要工作和创新点大致可分为以下五个方面:一、讨论了 Bregman距离下的类临近增量累积梯度格式（PLIAG）,并给出了其收敛理论。该格式作为PIAG的一般化,其引入了 Bregman距离,使PIAG有了更广泛的用途。在对该格式的收敛性分析中,得到了 Bregman增长下的线性收敛性以及一般情形下的次线性收敛性,此类算法的次线性收敛性是目前同类条件下所得到的最优结果。二、将PIAG应用到一类非凸问题中,扩大了PIAG方法的使用范围,并且给出了收敛性分析。证明了 PIAG对非凸问题生成的迭代点列全局收敛到稳定点集,并且在一定条件下线性收敛。三、将双增量累积梯度法（DIAG）推广到正则化问题中,得到PDIAG格式。通过本文对双增量累积梯度格式的算法实现的改进,其计算中存储需求大大减少。在收敛性分析中,本文得到了 PDIAG强凸条件下的线性收敛性,以及一般条件下的次线性收敛。前者可恢复临近梯度法（PG）中的标准结果,后者可恢复PG在特定步长下的标准结果。DIAG作为PDIAG的特殊情形,本文给出的次线性收敛性也弥补了 DIAG在这方面的理论空白。四、基于对偶问题提出了几类新算法,进一步扩展了临近增量累积算法的适用范围。本文将PIAG应用到一类可分强凸极小化问题中,得到了对偶表示和原表示的对偶PIAG格式（D-PIAG）,结合文中的其他工作,得到了 D-PIAG的收敛性。同时,基于本文对临近双增量累积算法的研究,提出了对偶PDIAG算法,并给出了相应收敛结果。另外,正则化项所对应的临近算子如果与线性算子耦合,通常会丧失临近算子的闭形式,而使计算变得复杂。本文将其转换为鞍点问题进行解耦,得到了多种原对偶PIAG格式及相应的收敛性分析。五、最后对PIAG算法进行抽象,在实Hilbert空间中得到了求解一类极大单调算子包含问题的向前向后增量累积分裂（F-BIAS）格式。本文首先基于IAG的经典收敛分析,得到了一类特殊情形下的线性收敛。对一般情形进行了初步探索,亦得到了全局收敛性。之后,基于本文对临近双增量累积梯度格式的研究,提出了向前向后双增量累积分裂（F-BDIAS）格式,其收敛性可恢复向前向后分裂算法中的标准结果。