为了满足视频服务多样化和高清化的发展需求,ITU的VCEG和ISO的MPEG共同组成视频编码联合小组(JCT-VC),制定了新一代视频编码标准——]HEVC。与H.264/AVC相比,在相同视频质量的情况下,HEVC能够节省50%左右的码率。但是,在使用HEVC标准压缩视频的时候仍然存在大量的视觉冗余。根据人眼视觉特性,本文利用视觉显著性从比特分配和率失真优化两个方面在HEVC框架下进行编码优化。本文的研究内容包括：1)介绍了视觉显著性的内容以及基于上下文感知(Context-Aware)的显著图计算模型,分析了视觉显著性对视频编码的指导意义。2)研究分析了现有HEVC测试模型HM16.7所使用的码率控制算法,针对其在CTU级比特分配不合理的问题,提出了利用视觉显著性指导CTU级比特分配的改进算法。实验结果表明,在维持码率基本不变的情况下,全Ⅰ帧编码模式,显著区域的Y-PSNR平均提高了0.59dB；低延时P帧编码模式,显著区域的Y-PSNR平均提高了0.32dB。两种模式下,非显著区域和总体的Y-PSNR均有轻微下降。3)研究了HM16.7中的率失真优化技术,分析CTU编码参数优化(模式选择)的过程,提出了基于视觉显著性的率失真优化改进算法,在CTU模式选择计算代价的时候,使用视觉显著性权重修正CU级的失真度量,为显著区域的CU选择失真更小、码率更高的模式,从而保证显著区域CU的编码质量。在维持码率基本不变的情况下,低延时P帧编码模式,显著区域的Y-PSNR平均提高了0.61dB；非显著区域和总体的Y-PNSR稍微有所降低。从主观实验得到的DMOS值来看,基于视觉显著性的率失真优化改进算法能够有效提高视频主观质量。