(e)p正则化问题的算法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:wilson168168
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
(e)p正则化问题在变量选择、信号处理、压缩传感、数据挖掘、金融最优化等许多领域有广泛的应用背景.对该问题的理论与算法的研究是目前国际优化界关注的一个热点.本文研究求解(e)p正则化问题的理论、算法及其在压缩传感等领域中的应用.侧重于对p∈(0,1]时问题的研究.当p=1时,问题是一个Lipschitz连续的非光滑最优化问题.当p∈(0,1)时,问题是一个非Lipschitz连续的非光滑非凸函数极小化问题.是一个难度较大的问题.   在数值算法方面,本文集中于对求解大规模问题数值算法的研究.首先研究求解大规模(e)1正则化问题的数值算法.我们从两个不同的途径研究求解该问题的数值算法.一方面,将求解光滑大规模最优化问题颇受欢迎的谱梯度算法加以改进,利用(e)1正则化问题中目标函数的广义梯度,我们提出一种求解(e)1正则化问题的谱梯度算法,并建立算法的收敛性定理.另一方面,对(e)2-(e)1正则化问题,我们利用问题的特殊性质,将其转化为一个等价的非光滑方程组.该方程组是一个单调、Lipschitz连续的半光滑方程组.在此基础上,我们提出一种求解(e)2-(e)1正则化问题的一种具有低存储量的迭代法.该算法的一个重要优点是算法产出的点列到问题的解集合的距离单调递减,而且,整个序列收敛于问题的一个解.为测试本文所提出的算法的使用效果,我们将算法应用于求解稀疏信号重建和图像恢复等问题,并与求解(e)1正则化问题已有的数值表现较好的算法如GPSR和SpaRSA等算法进行比较,结果表明,本文的算法具有更好的实用效果和数值表现.   在对(e)p(p∈(0,1))正则化问题的数值算法研究方面,本文侧重于对求解(e)1/2正则化问题数值算法的研究.这主要是由于大量数值结果表明(e)1/2正则化问题是(e)p(p∈(0,1))正则化问题中具有代表性的问题.我们首先将谱梯度算法的思想应用于求解该问题,提出了求解(e)1/2正则化问题的一种拟谱梯度算法.值得一提的是,本文的拟谱梯度算法不是求解光滑最优化问题谱梯度算法的一种简单推广工作,而是一种改进.由于(e)1和(e)1/2正则化问题是不可微问题,特别,(e)1/2正则化问题的目标函数非Lipschitz连续,其广义梯度不存在,为此,我们构造一个函数使得它在问题中的地位与梯度在光滑最优化问题中的地位相似.在此基础上采用谱梯度法的思想设计算法.我们在适当条件下,证明算法的全局收敛性.   本文最重要的一个贡献是导出了求解(e)1/2正则化问题的一个等价的光滑约束最优化问题.该约束问题极小化一个光滑函数,可行域由简单二次不等式约束和非负约束构成.问题的可行域具有非空内部,其KKT点一定存在,而且KKT点与原问题的稳定点相同.该等价性模型的建立为求解(e)1/2正则化问题的数值算法开辟了一条新途径,使得应用求解光滑约束最优化问题的好的数值算法求解(e)1/2正则化问题成为可能.在此等价性模型的基础上,我们提出求解(e)1/2正则化问题的一种可行最速下降方向算法.该算法中的可行最速下降方向具有显式表达形式,因而,算法具有存储量少、计算量低的优点.在较弱的条件下,我们建立算法的全局收敛性定理.我们的数值试验结果表明,所提出的的可行最速下降法具有很好的数值表现.   文章还研究(e)1/2正则化问题的最优性条件.导出问题的解的一阶、二阶必要条件和二阶充分条件.它们是已有结果的一种推广.特别,我们还证明,满足一阶条件的点不会是目标函数的一个局部极大值点.   此博士论文用LATEX2ε软件打印.
其他文献
N阶张量是数据在高维上的扩展。近来,张量的研究因为现代计算能力的支撑变得越来越流行。张量可以被广泛应用在能够被呈现为多维数据的领域内。张量的早期应用是在心理测验学
Mineral contents and fractures of shale from well Yuye-1 and outcrops were examined mainly based on systematic description of the cores and outcrops, and data f
学位
在过去的四十年中,基于干扰观测器的控制方法(DOBC)已经在各个工业领域得到研究和应用.尤其近十几年来随着科技的进步和网络技术的发展,多种控制策略,如间歇控制、自适应控制、
周期事件触发控制策略作为目前事件触发控制普遍采用的方法,既能减少数据的发送次数,又能避免Zeno现象.其缺陷是:忽视了相邻采样时刻间的系统信息,从而可能导致控制性能下降.为
历年的各科考试繁多,阅卷工作至关重要,随着信息化时代的到来,数字图像处理技术不断地进步,利用计算机进行网上阅卷越来越广泛的运用到各科考试中。但网上阅卷图像在录入时会
随着科技的不断发展,人脸识别已经成为一种重要的生物识别手段。在人脸识别领域,由于人脸图像的维数相当高,直接在原图上进行处理,将加大算法的复杂度,并且对计算机的硬件性能也是
随着科学技术与经济的迅速腾飞,我国化工行业也有着良好的发展势头。而在化工生产的产业链中化工分析是关键的组成部分,一旦缺失化工分析的过程,必然会使化工生产过程的复杂性大
本文通过对荣华二采区10
学位