视频编码就是将原数字视频信号量化到较小取值范围的过程，同时保证解压缩之后可以正常恢复视觉效果。预测一个合适的量化参数可以权衡视频质量和编码复杂度的同时又减少视冗余，缩减编码长度，是码率控制算法中关键的技术之一。在多种码率控制方案中，目前运用最广的视频编码标准H.264/AVC的码率控制算法将视频量化的流程模型化，根据序列帧的实际值动态地调整量化值，在编码长度和图像精度之间折衷，达到整体最佳效果。但是码率控制方案并不能十分精确地控制运动剧烈或场景切换的序列，同时对带宽的波动过于敏感。因此本文首先对码率控制中量化参数的预测模型进行了研究，结合神经网络知识对原有模型进行了改进。该方法建立了一个三层的BP网络，取当前帧的目标比特、当前帧的MAD和前一帧编码的QP和实际比特数作为输入，通过训练得到预测模型，直接动态预测量化参数对编码帧进行量化。实验证明，利用BP神经网络的学习能力和鲁棒性，本文方案在保证码率精确度的同时减少了PSNR的波动，得到更平稳的视频质量。在对传统的码率控制算法进行改进后，本文针对模块之间存在复杂关联，模块算法改变对整体编码多目标参数性能的影响并不是简单的线性关系，其部分编码性能被耦合的现象，致力于视频编码中多模块的关联性度量。由于目前并没有资料对多模块的算法设计进行系统的调查研究，本文尝试对模块间的关联性度量进行了初步探索。将视频编码标准中的未规定具体实现细节的用户可定制算法，根据其在编码流程的功能并结合传统标准中的定义，归纳为视频预分析、码率控制、运动估计、模式选择这四个模块，并给出了相关性因子的定量测试方法。实验以x264为平台，并给出了结果，验证了本文提出的方法和理念，这对多模块联合算法优化有意义重大。为了尽可能提高视频编码的率失真性能，同时权衡编码复杂度，需要协调这些待定模块间的参数设置。因此本文又根据关联性度量结果，利用文中得到的两个影响因子特性对编码优化方法进行了改进。通过改进后的视频编码参数优化配置方案，最终性能可以接近所有模块均优化后的全局最优状态，同时其复杂度比没有进行改进时的编码复杂度下降低近一半。