随着市场要求的不断提高,现在1080p高清视频已经是现在各种电视机以及家庭娱乐设施的主要视频标准。为满足市场要求,H.264是国际电信联盟远程通信标准化组织正式发布的新一代视频编码标准,与现有的其他视频编码标准相比,具有压缩效率高,网络性能好等一些显著优点。H.264远优于其它现有标准,但却存在着计算复杂度过大,难以满足实时应用等缺点,帧内预测模式选择已经是影响H.264编码速率的主要瓶颈,如果不解决这个问题,将影响整个视频编码速率。因此研究有关快速算法具有重要意义。目前H.264采用率失真优化(RDO,Rate-Distortion Optimization)算法,虽然RDO算法可以明显改善信噪比和比特率,但是他导致了运算复杂度的急剧上升。从编码时间来看,采用RDO使时间急剧增加。面向H.264开展快速编码算法研究以及复杂度失真研究已成为业界和学术界关注的热点。大多算法虽然可以改善运算复杂度,但都是以牺牲解码图像的质量为代价,算法的率失真性损失较大。本文通过两步进行研究：第一,在现有RDO算法中,采用RDO率失真优化、门限值预先判定、亮度与色度块预测等方法减少计算时间,进一步改进基于RDO帧内预测模式选择快速算法,避免牺牲解码图像的质量,降低算法的率失真性损失,从而增强画面质量。第二,针对在H.264参考软件中,仅仅把误差平方和(SSE,The Sum of Squared Errors)作为视频编码的主观质量评判标准。而本文把结构相似度(SSIM,Structure Similarity)引入H.264基于RDO的帧内和帧间预测中,提出联合SSE和SSIM作为失真测度的率失真优化方法(SSRDO, Rate-Distortion Optimization on SSE and SSIM),用基于块的平方误差和SSE与SSIM联合失真来代替传统的SSE,得到了更好的主观质量和更好的主观率失真性能。使算法能符合人类主观的视频质量的评判,所以更适用于视频图像的压缩。最后,本文通过仿真实验,论证理论的可行性及合理性。实验结果表明,基于RDO的快速算法在保持峰值信噪比值基本不变和编码比特率只增加不到5%情况下,其平均计算量将减少70%左右。SSRDO在算法复杂度略有增加的情况下,性能优于最新的H.264帧内编码,在中低码率时这种改进更明显。