随着社会和科技的发展，大数据时代已经来临。大数据是多元化的，包括了视频数据，图像数据，信号数据等。面对大量、高维、高速、多样化的大数据，稀疏优化使得利用少量的样本能够重构高维数据这一理论成为现实。由于稀疏可以节省存储空间并减少传感器的使用数量，所以在大数据时代稀疏优化变得尤为重要。处理和分析视频数据、图像数据和信号数据已经是很多研究员的一项重要工作。　　大多数的图像与信号处理问题都属于不适定问题。本文从基于稀疏优化的正则化方法角度出发，对于不同的图像处理问题（包括图像分解，图像复原和图像压缩感知）进行了仔细地研究，建立了数学模型，并提出快捷高效的算法来求解问题。对于信号处理问题，本文考虑了信号重构问题，提出一个基于联合稀疏的加权方法，并将该方法运用到求解多任务特征学习问题中。本文的主要内容分为如下五个部分：　　一、在图像的卡通和纹理（Cartoon-Texture）分解问题中，由于全变分（Total Variation, TV）正则项具有良好的保边缘性，所以常用TV正则项刻画卡通部分。因为纹理部分是振荡且低秩的，很多文献用核范数刻画纹理的低秩性。因为核范数等价地惩罚每一个特征值，所以这样获得的纹理部分是不令人满意的。实际上每一个特征值都有特别的物理意义，应该分别处理。为了弥补核范数的不足，建立了用log det函数刻画纹理部分和用TV刻画卡通部分的图像分解模型。其中， log det函数可以不同程度上约束每个特征值，从而更好地刻画纹理部分。　　二、在图像压缩感知（Compressive Sensing, CS）问题中，已有很多方法解决了基于?1-范数的CS正则化模型。因为?1-范数是?0-范数的凸松弛，所以他们得到的结果并不是最好的。为了得到更好的结果，建立了一个基于低秩正则项的图像CS模型，采用一个平滑的秩函数（Smoothed Rank Function， SRF）作为低秩正则项来刻画图像的非局部自相似性。求解该优化模型时，采用交替极小化方法（Alternating Minimization Method, AMM）解耦变量后分别求解每个子问题。实验表明提出的方法在高噪声低采样率的情况下，仍然可以快速恢复出清晰的图像。　　三、虽然基于SRF的图像CS模型得到了很好的恢复结果，但是该模型的理论分析是缺失的。因此，为了使提出的方法得到理论保证，通过添加两个正则项，建立了一个新的基于SRF的CS模型。关于新模型，展示了相关的理论分析和证明。为了得到新模型的一个稳定点，提出了一个交替下降方法，并证明了该方法的收敛性。　　四、基于信号的联合稀疏结构，提出了一个截断的联合稀疏信号重构模型。该模型通过阈值的加权方法来检测信号的支撑集信息，通过在迭代中不断更新支撑集信息来获得精确解。展示了模型的收敛性分析和高效恢复联合稀疏信号的条件，并实现了一个多步凸松弛迭代算法来求解模型。该算法不仅可以高效恢复联合稀疏信号，而且可以解决无线电认知中的协作频谱感应问题，和模式识别中的多任务特征学习问题。大量的实验表明了该方法的优越性。　　五、在多任务特征学习问题中，通过一个自适应选取阈值的方法，改进了基于固定阈值的多步多任务特征学习方法（Multi-stage Multi-task Feature Learning, MSMTFL），并展示了改进后的方法的收敛性和解的唯一性。与其他高效的多任务特征学习方法和MSMTFL方法相比，改进后的方法获得了杰出的表现。