随着网络技术与多媒体技术的发展,视频应用对人们生活及工作的联系越发深入和重要,技术的发展为人们提供更好的体验的同时人们对体验的高要求也带动技术的发展。视频编码技术在技术交融和用户需求中发展,逐渐形成了以H.264、H.265为主导的标准。其引用了如帧间预测、多参考帧、块匹配、多种分割方式等技术,在提高编码效率的同时,使得编码复杂度急剧增加。由于帧间编码采用多预测模式,遍历全模式方式大大增加了编码时间,限制了其应用范围,尤其在视频监控、可视电话、视频会议、现场直播等对实时编解码要求高的领域方面。为降低帧间编码复杂度,缩短编码时间,本文针对帧间模式选择部分进行研究,首先介绍了模式决策过程涉及的准则,包括运动搜索的准则和模式选择代价函数,描述了帧间编码遍历全模式过程,并介绍JM参考模型和JM模式选择算法。接着对P帧快速模式决策算法进行研究,采用了基于时空相邻块的早期预判、基于运动一致性的模式组合策略和基于时空分析的帧内模式判决方法,设计了基于时空相关性的P帧快速模式决策方案。其次,对B帧快速模式决策算法进行研究,采用了基于相邻块早期模式预判、基于水平和垂直方向图像纹理分析、亚宏块模式的限定判决和利用相邻块的B帧早期预测方向判定方法。最后,结合P、B帧模式决策方法,合理的进行融合设计得帧间快速模式决策方案。在JM参考模型上进行代码实现,在不同QP下对多个测试序列进行实验测试,对实验结果进行主观和客观质量评价。结果表明在PSNR和码率基本不变的条件下本文所提P帧快速模式决策方案较标准可减少55%-65%的编码时间,及本文所提帧间快速模式决策方案较标准可减少42%-68%的编码时间,验证了本文所提P帧快速模式决策方案和帧间快速模式决策方案的有效性和正确性。