数字视频技术的广泛应用和信息技术产业的快速发展催生了对超高清视频的视觉质量需求,视频编码技术在这一需求的推动下不断更新迭代。帧间预测参考技术和率失真优化技术作为视频编码领域的两项关键技术,一直以来都是视频编码标准研究的热点问题。本文围绕视频编码参考结构与率失真优化问题展开研究,分别提出了图像组级别、视频帧级别以及编码块级别的优化算法。本文的研究内容分为三个方面。（1）视频编码自适应参考图像管理机制与图像组级编码参数优化。对于低延迟编码结构,本文在实现自适应参考图像管理机制的基础上,提出了长驻留参考图像来实现超长参考距离的参考关系,同时设计了一种级联图像组的参考结构作为长驻留参考图像抉择与调度的一种可行方案,并且在图像组级别对每一帧的量化参数进行了优化调节。（2）基于时域参考规则的帧级自适应编码参数优化。对于随机访问编码结构,本文通过分析编码器预配置的时域参考规则,统计每一帧图像的被参考次数,进而对每一帧图像的参考价值建模并计算。然后基于图像帧的参考价值,在视频帧级别为每一帧图像自适应地优化调节量化参数与拉格朗日乘子。（3）基于核心参考帧的块级自适应拉格朗日乘子优化。本文通过对信源视频序列中核心参考帧的运动强度的分析,建模得到核心参考帧内部每一个最大编码单元的运动补偿信息熵,然后采用经典的R-D指数模型来推导最大编码单元级别的最优拉格朗日乘子。该算法将率失真优化应用到最大编码单元级别,充分考虑信源视频本身特性导致的最大编码单元之间的差异性,自适应地优化每一个编码单元的拉格朗日乘子。本文所提出的自适应参考图像管理机制以及三个级别的优化算法,在AVS3标准开源编码平台HPM和VVC标准开源编码平台VTM上进行了集成与实验。测试结果表明三种优化算法均能够取得良好的性能增益,在提高编码效率的同时,能够同时保证视频的客观和主观质量。本文的部分工作已被中国音视频标准工作组采纳,并形成专利技术。