随着多媒体技术的不断发展,通过显示设备模拟现实世界,以追求沉浸式的体验成为一种趋势。作为沉浸式体验的载体——全景视频,又称360°视频,它的压缩、处理等方法的研究越来越受到重视。作为球面内容,对其直接进行压缩较为困难。目前通用的做法是将球面全景视频投影至二维平面进行处理。投影带来的像素畸变、评价指标变化、以及全景视频存在大量静止的背景区域等特点都使得全景视频的压缩优化方法与普通视频存在较大区别。针对上述情况,本文围绕全景视频的特征,开展了针对全景视频编码压缩的率失真优化方法研究。本文的主要工作如下:1)针对全景视频的等距柱状投影在映射过程中存在的过采样现象,提出一种等效球面率失真优化方法用于编码性能提升。该方法将采样函数融入率失真优化方程中,以解得更优的编码模式。同时,本文利用方程中拉格朗日乘子与量化参数的转换关系,计算得到融合权重系数的量化参数修正值用于编码。将该方法应用于编码器中,可获得编码性能提升。实验结果表明,在JVET的通用测试序列与测试条件中,本文方法可使得采用等距柱状投影的全景视频编码性能获得大幅提升——以亮度分量的WSPSNR作为质量评价指标,在全帧内编码配置下BD-rate性能最大提升为3.6%,在随机访问配置下性能最大提升达到8.6%。2)针对全景视频根据不同应用需求采取不同场景优化算法与投影方式这一特点,提出了一种基于编码平面与实际观察球面转换的通用球面率失真模型。该模型通过投影中的像素映射转换得到投影转换因子,各类投影方式均可利用该投影转换因子构造统一的率失真优化方程决策更优编码模式。这种策略无需显式利用公式计算投影转换因子,具有较强的通用性。对于球面率失真优化方法计算复杂度问题,本文使用编码单元级的优化方程获得投影转换因子的最优估计,在不影响性能的同时,能够大幅降低编码复杂度。此外,本文通过率失真方程中的拉格朗日乘子修正优化目标,可将流媒体传输中基于视点的应用优化统一至该率失真优化方法中。实验表明,基于这种统一映射转换与视点的球面率失真优化方法,各类投影在编码复杂度增加极少情况下,均可取得编码性能的提升。3)针对全景视频分辨率高以及存在大量静止背景内容的特性,本文在球面率失真优化的基础上提出了基于编码单元信息的全景视频球面码率控制方法。对于率失真模型在背景区域中跳过模式编码单元失效的问题,该方法利用编码单元信息,提出一种分离跳过模式与非跳过模式编码单元模型参数更新的策略,实现更加稳定的率失真模型参数更新。此外,本文提出一种帧级码率分配方法,该方法利用质量依赖因子与跳过模式比例关系,进行码率分配最优化方程的分析与求解。以等距柱状投影平面中的实验结果为例,基于编码单元信息的球面码率控制方法相比原参考软件中的码率控制策略在YUV三个分量上可获得平均4.43%、7.41%、7.69%的性能提升。这种方法不仅可以被用于全景视频,也适用于传统的平面视频,部分策略已被JVET接收并纳入VVC的参考软件。