H.264/AVC作为新一代的视频编码标准，不仅具有优异的压缩性能，而且拥有良好的网络亲和性，它被广泛应用在可视电话、高清电视、视频会议、视频监控等方面，但由于它采用了许多新技术，运算复杂度较高，因此需要对H.264/AVC中运动最复杂最耗时的运动估计算法进行优化，使得H.264运动估计过程的计算量降低，运动估计时间缩短，OMAP平台是TI公司专门为了满足音视频通信领域的需求而设计的一款ARM+DSP双核平台，因此将H.264视频编解码运用到该平台具有不可忽视的价值。本文首先从视频编码的基础知识出发，对视频编解码的结构及原理做了简要的介绍，并对视频编解码的关键技术进行分析，对H.264中运算最为复杂最耗时的运动估计算法的原理及匹配准则进行了详尽的研究，对三步搜索算法、全搜索算法、菱形搜索算法、六边形搜索算法的搜索过程进行了分析，通过实验对这些经典搜索算法的使用范围和优缺点进行分析和比较。然后对最新的搜索性能较好的运动估计中的UMHexagonS算法进行充分的研究，对该算法的搜索过程进行说明，在此深入研究的基础上加以改进和创新，对UMHexagonS算法从初始搜索点、阈值判断、交叉十字型搜索、多层次六边形格点搜索、迭代六边形搜索等搜索方式和策略上进行改进和优化，将优化后的算法以VC++6.0作为开发平台，在H.264/AVC官方参考软件JM8.6上采用5种不同运动特性的视频序列进行仿真，通过仿真实验验证本文改进算法与全搜索算法及原算法相比有一定的优势，改进算法在保证视频质量基本不变的前提下，大大减少了H.264运动估计过程的计算量，降低了运动估计时间，提高了编码速度。此外，结合视频编码算法，对TI公司最新开发的最新多媒体开发平台OMAP3530进行研究，在OMAP3530开发板上搭建开发环境，选择X264作为移植代码，将基于PC机的编码算法X264经过修改后在OMAP3530平台上进行初步移植，并对视频压缩编码算法在OMAP3530上实现过程中需注意的问题进行分析和说明。