图像恢复和图像质量评价是图像处理领域研究的基本问题。图像恢复的关键在于对图像数据所服从的规律的先验假定，而图像质量评价的关键在于准确地模拟人对图像的主观感知过程。本文通过对自然图像自相似性质的深入分析来研究图像恢复问题，同时基于“人对图像的感知是高级的、语义的过程”这一事实来研究图像质量评价问题。主要作了以下几方面的工作：1.自相似体现为两方向相关结构，当一组相似块被安排成矩阵时，该矩阵的行与行、列与列之间均存在很强的相关性。基于这种理解，提出了一种双向非局部模型。该模型对称地利用了两方向相关结构，直接以相似块作为字典来表示每个图像块且对表示系数进行Tikhonov正则化。将该模型用于图像去噪，获得了很好的效果。2.借助稀疏表示来利用两方向相关结构，提出了基于二维字典的稀疏表示模型。该模型利用奇异值分解学习局部二维字典，且通过二维字典下的稀疏表示对每一组相似块进行联合估计。将该模型用于图像去噪，获得了与目前最好的方法相当的峰值信噪比，同时能更好的保持图像的细节结构。3.利用奇异值分解建立了一种差异性保持的非局部图像恢复模型。该模型对一组相似块进行联合估计，且能够保持各个相似块之间的相对差异性。将该模型应用于图像插值和彩色图像去马赛克，获得了目前最好的恢复效果，无论峰值信噪比还是视觉质量，相比已有的方法都有很大的提高。4.图像中的边界是形成语义认知的基础，而边界具有各向异性、正则性和奇异性的特点。本文结合这些特点定义了一种新的边界强度，并通过边界强度相似性定义了一种被命名为ESSIM的图像质量指标。ESSIM的运算非常简单，但能获得同目前最好的方法相当的评价效果。5.现有的图像质量评价方法大都采用基于局部结构相似的框架，但当人观看一幅图像时，并不逐一地考察每一处的局部结构，而是会聚焦于具有特定语义的空间区域。本文利用像素聚类来近似这种空间区域，并通过像素子类之间的相似性定义了一种被命名为NLSSIM的图像质量指标。实验表明，NLSSIM能获得目前最好的评价效果。