视频是一种越来越流行的信息传播形式。随着视频采集、传输、显示等技术的发展,视频逐渐趋向于高复杂度、高分辨率。视频编码技术的目的是让我们能够在有限信道带宽的情况下传递尽可能多的像素信息。为了编码更高复杂度的视频,单位像素所需要的计算量和单位时间需要处理的像素量都将面临指数级的上涨。HEVC作为在H.264基础上发展而来的新一代编码标准,经过它压缩得到的视频在相同的品质、清晰度的情况下,所需要的码率仅为H.264的一半。如此高的编码效率需要大量的计算来支持。HEVC相比于H.264计算量提高了 5到10倍,在相同环境下的编码时间也大幅度的增加了。随着移动计算技术的发展,在保持高压缩能力,设计低功耗的HEVC硬件编码器的需求也越来越迫切。基于四叉树的循环递归分割、率失真优化过程、CU/PU/TU模式不同种类组合的搜索等新特性占据HEVC帧内编码计算量的中的大部分。基于离散余弦变换(DCT)的变换编码在率失真优化过程中的失真计算中占主导地位。本文主要对上述算法过程进行了一系列的优化,旨在削减HEVC帧内编码的计算量,达到快速、低功耗、低硬件代价的目的。主要的贡献在以下四个方面:一、本文针对DCT计算提出了整数DCT的蝶形运算方法,用蝶形运算代替矩阵乘法,运算量减少的同时带来很少的精度损失。二、利用DCT的能量集中特性,丢弃高频部分的变换系数,采用硬件复用方法重新设计了变换的中间存储器结构,节约了硬件代价。三、在CU的四叉树划分模式的搜索计算过程中,采用了边缘强度和角强度结合估计的快速算法,达到了不计算率失真代价直接判断是否进行CU划分,从而节约了编码时间。四、采用卷积神经网络对无法用边缘强度和角强度估计直接判断的情况进行处理,并提出了在视频编码任务中可以达到高性能的卷积神经网络的设计和训练策略。在HM15参考软件平台中实现上述算法后,DCT近似算法在BD-Bitrate上升为1.03%的情况下,节约了 15.9%的编码时间。进一步用TSMC 90纳米标准实现该DCT的VLSI模块,在最坏情况下(125摄氏度,0.9V)时,功耗为12.7毫伏,最大时钟频率为311兆赫兹。与最初的设计相比节约了 71.9%的硬件代价和70.2%的功耗。基于CNN的快速分割算法在BD-Bitrate上升为2.40%的情况下,节约了59.7%的编码时间,随着神经网络加速硬件的发展,该算法将拥有更大的潜力。