机器学习中求解极小极大问题的算法研究

被引量 : 0次 | 上传用户:whm9903
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来非凸极小极大问题在机器学习、信号处理和深度神经网络等领域应用广泛,成为人工智能、最优化等领域的研究热点之一。许多文献在梯度下降-上升(GDA)算法的基础上设计了新的单循环算法求解非凸极小极大问题,但此类问题在随机环境中的收敛性分析有待进一步研究。本文针对非凸极小极大问题,基于GDA算法的变体―交替梯度投影(AGP)算法,结合随机梯度下降-上升(SGDA)算法的性质引入随机思想,提出了随机交替梯度投影(SAGP)算法。并进一步证明了该算法的收敛性,分析了在非凸-强凹、非凸-凹、强凸-非凹和凸-非凹四种环境下的迭代复杂度。最后在高斯分布数据集上进行数值实验,通过对实验结果的分析与比较,验证了新算法的有效性。本文的主要研究工作如下:1、在随机环境中,针对非凸-(强)凹极小极大问题,本文证明了在适当的假设条件下SAGP算法具有较好的收敛速度。在非凸-强凹环境下该算法获得f(x,y)的ε-近似一阶稳定点的迭代复杂度为O(ε-2),非凸-凹环境下的迭代复杂度为O(ε-4)。2、在随机环境中,针对(强)凸-非凹极小极大问题,本文证明了在适当的假设条件下SAGP算法具有较好的收敛速度。在强凸-非凹环境下该算法获得f(x,y)的ε-近似一阶稳定点的迭代复杂度为O(ε-2),凸-非凹环境下的迭代复杂度为O(ε-4)。将SAGP算法应用于具有线性生成器的Toy WGAN问题,在高斯分布数据集上进行数值实验,实验结果验证了该算法的有效性。
其他文献
学位
学位
学位
学位
学位
学位
学位
近年来,非凸极小极大优化由于其在机器学习,信号处理领域的广泛应用成为优化与机器学习,人工智能等交叉领域研究的热点,引起学者广泛的关注并取得了丰富的研究成果.随着机器学习和人工智能发展过程中问题模型复杂化程度的加深和数据规模的日益增长,基于梯度下降上升(GDA)算法的单循环算法成为求解非凸极小极大优化问题最流行的算法.本文依据现阶段的研究热点,以提高算法复杂度为目的改进已有算法,重点研究用于求解非凸
学位
学位
学位