论文部分内容阅读
近年来非凸极小极大问题在机器学习、信号处理和深度神经网络等领域应用广泛,成为人工智能、最优化等领域的研究热点之一。许多文献在梯度下降-上升(GDA)算法的基础上设计了新的单循环算法求解非凸极小极大问题,但此类问题在随机环境中的收敛性分析有待进一步研究。本文针对非凸极小极大问题,基于GDA算法的变体―交替梯度投影(AGP)算法,结合随机梯度下降-上升(SGDA)算法的性质引入随机思想,提出了随机交替梯度投影(SAGP)算法。并进一步证明了该算法的收敛性,分析了在非凸-强凹、非凸-凹、强凸-非凹和凸-非凹四种环境下的迭代复杂度。最后在高斯分布数据集上进行数值实验,通过对实验结果的分析与比较,验证了新算法的有效性。本文的主要研究工作如下:1、在随机环境中,针对非凸-(强)凹极小极大问题,本文证明了在适当的假设条件下SAGP算法具有较好的收敛速度。在非凸-强凹环境下该算法获得f(x,y)的ε-近似一阶稳定点的迭代复杂度为O(ε-2),非凸-凹环境下的迭代复杂度为O(ε-4)。2、在随机环境中,针对(强)凸-非凹极小极大问题,本文证明了在适当的假设条件下SAGP算法具有较好的收敛速度。在强凸-非凹环境下该算法获得f(x,y)的ε-近似一阶稳定点的迭代复杂度为O(ε-2),凸-非凹环境下的迭代复杂度为O(ε-4)。将SAGP算法应用于具有线性生成器的Toy WGAN问题,在高斯分布数据集上进行数值实验,实验结果验证了该算法的有效性。