帧内预测可以明显减少视频图像中的空间冗余性，而帧间预测则能够显著减少视频帧之间的时间冗余性，所以这两种技术在H.264/AVC视频编码标准中非常重要。本文着重研究帧内预测模式快速选择算法和帧间运动估计算法，对于帧内预测提出基于相邻像素差值的快速模式选择算法，而对于帧间运动估计，对现有的经典算法UMHexagons进行优化改进，使得视频压缩编码性能得到提高。对于帧内预测技术，首先研究了全搜索算法和三步搜索法的具体实现过程，分析了这两种算法均存在巨大运算复杂度的原因，并在此基础上提出了基于相邻像素差值的快速帧内预测算法，该算法通过计算相邻像素的差值，快速选取帧内最佳预测模式，将该算法在JM测试平台上实现，与现有的全搜索算法和三步搜索法进行对比，验证该算法的优越性。最后利用现已存在的基于宏块的MAD算法，对本文提出的算法进行改进，并在JM上再次验证。实验结果证明，我们提出的算法相比于全搜索算法和三步搜索法，可以比较明显的缩短编码时间，提高视频压缩的效率。在帧间运动估计的研究方面，首先对几种现存的快速运动估计算法的具体实现过程进行了研究，在分析各个算法优缺点的基础上，详细探讨了经典的UMHexagons算法，通过对该算法进行研究，从三个方面对该算法进行了改进：加入运动矢量搜索提前终止判断条件，加入搜索窗大小动态自适应调节机制和减少该算法中用到的正方形和六边形模板的搜索点。最后将改进的算法在JM测试平台中实现，为了验证优化后算法的通用性，测试中选用了多种不同运动类型的标准视频序列进行测试。通过客观数据和主观图像分析，改进后的算法在保持与原始算法压缩图像质量相当的前提下，运动估计时间明显降低，编码速度也得到了进一步提升，有助于H.264/AVC的实际应用。