论文部分内容阅读
凸规划与非凸规划为管理科学、统计学、经济学及生物学等领域中的众多问题供了强有力的工具.随着大数据时代的到来,需要研究的实际问题的规模也愈来愈大,因此设计一些高效可信的数值算法来解决这些问题是很必要的,且具有重要的实用意义.本文主要考虑块结构的非凸非光滑优化问题与“大规模”凸优化问题,旨在出一些高效可信的数值求解方法,并将其分别应用于泊松线性逆问题、图像与信号的恢复问题及正则logistic回归等问题.相较于已有的同类算法,新的数值算法能够更有效的求解这些问题.针对块结构非凸非光滑问题的求解,邻近交替极小化算法是一类简单快速的算法,其中两种流行的是邻近交替线性极小化算法与交替结构自适应邻近梯度下降算法,这两种方法在求解不同类型的块结构非凸非光滑优化问题上各有千秋.通过引入不同的惯性策略,我们出了两种算法的加速版本,给出了新算法的全局收敛性,并将新算法应用于一些实际问题,直观表明了新算法的高效实用性.然后,我们考虑了更为一般的带有抽象约束集合的块结构非凸非光滑问题.这类问题有广泛的实际应用,但由于抽象约束集的存在,邻近交替极小化算法的性能大打折扣.基于交替结构自适应邻近梯度下降算法,通过引入广义勒让德函数和广义下降引理,我们出一种交替结构自适应类邻近梯度下降算法.该算法不仅把交替结构自适应邻近梯度下降算法推广到求解带有抽象约束集的优化问题,而且规避了函数梯度全局利普希茨连续的限制性假设.针对该算法,我们建立了Bregman距离度量下全局O(1/K)的次线性收敛率,而且在目标函数满足Kurdyka-(?)ojasiewicz性质的假设下,证明了算法的全局收敛性.同样地,我们也给出了此算法的惯性加速版本及其理论分析结果.此外,我们还研究了一类带有抽象约束的凸优化问题,其中目标函数可以表示为一非光滑凸函数与n个连续可微凸函数平均和的形式.当n极大时,计算平均和函数梯度信息的代价非常昂贵,因此邻近随机梯度算法是求解此模型有效快速的方法之一.基于此算法,同时利用勒让德函数来获取抽象约束集的几何信息,我们出了类邻近随机梯度算法.另外,通过引入惯性和自适应两种加速技巧,我们出了自适应加速类邻近随机梯度算法,并给出算法的复杂度分析结果.同时,数值实验结果说明了新算法的有效性与优越性.