随着计算机软硬件技术的发展,越来越多的数据以视频图像的形式出现。然而,视频图像在从采集到最终呈现在观测者面前的过程中可能引入各种失真。显然,经常需要测量视频图像的质量,以便优化系统,用最少的资源提供最好的视觉质量。但是,主观质量评价方法费时、费力,最重要的是无法嵌入到实际的应用系统中。而传统的客观质量评价方法,如峰值信噪比和均方误差,在很多情况下不够符合人的主观感受。因此,有必要研究更贴近于人的主观感受的客观评价方法。结构相似性理论是一种关于质量评价的新思想。与自底向上地模拟人眼视觉系统(HVS)的低阶组成结构的思路不同,结构相似性理论自顶向下地模拟HVS的整体功能,即HVS主要从视觉场景中提取结构信息的功能。作为结构相似性理论的一个实现,结构相似度(SSIM)指数有着简单高效的优点。本文深入研究了结构相似性理论,以及SSIM在图像质量评价和视频质量评价方面的应用算法,并分别提出了改进。在图像质量评价方面,本文将结构信息重新解释为图像中能量足够大的中高频成分,从新的角度将SSIM理解为一种更好的局部误差度量方式。提出一种基于结构信息提取(SIExt)的图像质量评价方法,将图像中的结构信息分离出来给予较大的权重,并用SSIM作为局部失真的度量。实验结果表明,SIExt比原方法和PSNR等方法准确度更高。在视频质量评价方面,由于视频序列的数据量巨大,原算法采用了随机选取局部抽样区域的方式减小运算量,但随机选取无法保证算法的每次运行对同一序列都给出一致结果。另一方面,人眼对图像中的边缘轮廓信息更敏感,特别是运动的视频序列,因此本文认为边缘是一种很重要的结构信息,提出一种按照边缘度选取局部抽样区域的算法(VESSIM)。实验结果表明,VESSIM准确度更高,且避免了随机算法每次运算结果不一致的弊端。