近年来,稀疏正则化由于其广泛的应用背景,受到了越来越多的关注。经典的e1稀疏正则化方法通常情况下不能给出最稀疏的解,因此非凸稀疏正则化理论成为众多学者研究的热点。目前,关于线性不适定反问题的非凸稀疏正则化方法,在正则化理论及数值方法方面都已经有了一定的研究。但是非线性不适定反问题的非凸稀疏正则化研究却鲜有相关结论,在正则化理论分析及数值方法中还有很多尚未解决的问题。本文针对非线性不适定反问题,提出具有α(?)1-β(?)2,α>β≥0型罚项的非凸稀疏正则化方法,并将该稀疏正则化用于求解非线性压缩感知问题。本文分析α(?)1-β(?)2型罚项的强制性、弱下半连续性及Radon-Riesz性质,并在此基础上讨论了非凸稀疏正则化解的适定性,即正则解的存在性、稳定性和收敛性。在适当的源条件及非线性条件下,给出了O(δ1/2)阶的正则解收敛速度。由于算子方程是非线性的,且罚项是非凸、非光滑的,一般的梯度方法无法直接应用于α(?)1-β(?)2正则化泛函。因此本文利用广义条件梯度算法,将原非凸稀疏正则化泛函转化为型如F(x)+Φ(x)的结构,分析模拟项F(x)和罚项Φ(x)的凸性及光滑性,构造出一种适用于非凸稀疏正则化的α(?)1-β(?)2型软阈值迭代法(ST-(α(?)1-β(?)2)算法),并给出该算法收敛性的证明。本文构造的算法结构简单,易于实现,其形式与经典的软阈值算法类似。最后,给出该算法在非线性压缩感知中的应用,将文中提出的算法与经典的l1稀疏正则化方法做对比,验证所提出的算法是有效的。