相对于以往的标准,H.264标准在压缩效率和图像质量上都有很大的改善,并且得益于分层的设计结构,使得其兼容性非常好,可以方便地应用于不同的网络环境。这一系列优势使得H.264标准成为了当今最为主流的视频编码标准,在各个领域都得到了广泛的应用。编码性能的提高自然而然使得H.264标准对视频编码器的性能提出了更高的要求。传统的设计方法无论是采用高性能处理器,还是专用视频编码器或者采用FPGA实现,都存在一定的不足。而采用软硬件协同的方法在基于FPGA的SOC平台上实现视频编码器则可以有效的避免单独采用软件处理或者硬件处理的缺点。因此,本文提出了基于软硬件协同设计方法的H.264视频编码器的方案,在Altera的SOC平台实现了相应的设计,并利用自定义指令集和IP核的方法来提高编码速度。本文首先了介绍了H.264标准相关的背景知识和软硬件协同设计的相关概念。然后结合实验室资源设计了编码器的硬件平台,同时对视频编码器的软件部分的原型做了相应的优化,并对优化后的算法进行了算法复杂度分析。最后综合前人的研究结果,得出了软硬件划分方案。其次,根据设计的方案,本文采用了自定义指令的方法,参考SIMD的指令设计思想,针对预测模块中的绝对差和计算、整数变换、量化、功能函数四个模块设计了相应的自定义指令。此外,本文还针对4x4块的整数变换与量化设计了专用IP核,测试结果表明单个4x4块采用此IP核的编码速度比采用自定义指令的方法提高了一倍。最后,将视频编码器的软硬件部分结合起来测试,测试数据表明,在单独编码工帧的情况下,相对于纯软件编码,编码速度提高了75%,视频编码器的编码速度有显著提高。