论文部分内容阅读
【摘要】 就如何采用低成本FPGA来实现高清晰监视系统的主流方案进行分析研究。
【关键词】 FPGA;视频监视;HD监视摄像机
视频监视这一新的视频市场应用逐步向高清晰技术(HD)过渡,需要性能相对较高的视频处理能力。HD监视摄像机采用高质量H.264编码器对图像直接进行编码,图像可以通过标准以太网连接实现无失真传输。对HD视频流实时编码的主要类H.264编码器需要采用结合了高性能信号处理架构和低成本、低功耗特性的硬件平台,最新一代低成本FPGA成为实现这种平台的理想选择。介绍HD监视摄像机的体系结构,以及怎样采用低成本FPGA构建整个系统。
HD监视摄像机体系结构
新的高清晰IP摄像机是所有IP联网数字系统的终端设备。这些IP摄像机采集HD视频,经过预处理、编码,通过以太网发送编码后的数据流。所有信号处理功能都必须在一个器件中实现,以满足这类系统苛刻的成本和功耗要求。
(图1所示为这类摄像机的顶层体系结构)。除了编码引擎,高性价比设计还集成了摄像传感器预处理功能、帧缓冲存储控制器、用于系统控制的嵌入式处理器,以及以太网MAC。目的是提高整个系统的集成度,降低成本和功耗。
这一设计包括摄像传感器前端模块、视频压缩模块、以太网MAC模块、嵌入式处理器,以及向所有其他模块提供存储功能的多端口帧缓冲。
多端口帧缓冲用作汇集器。所有其他模块与帧缓冲进行双向数据传送,和别的模块进行通信。摄像传感器接收到的视频图像被送入摄像传感器前端模块。摄像传感器前端模块处理视频数据,将视频存储到帧缓冲中。然后,H.264编码器读取帧缓冲中的视频数据,完成编码过程。H.264编码器将压缩后的比特流送回帧缓冲,进行存储。最后,以太网MAC模块读取帧缓冲中压缩后的比特流,将其发送至以太网。
采用这种集成方式,电路板上的其他元件只有摄像传感器、DDR2-SDRAM、闪存和以太网PHY芯片(图2所示为这类系统的各个组成部分)。
详细设计
H.264编码器模块
该设计中使用的H.264编码器是EyeLytics公司提供的IP内核,它针对监视应用进行了优化。这一内核具有很多监视功能,包括多通道支持、恒定质量速率控制、帧内/帧间模式、QPEL、CABAC,并且逻辑门数量较少。
“Raster to Block”模块(图3左侧所示)按照光栅扫描顺序读取来自帧缓冲的图像,以宏模块格式重新排列这些图像。然后,将其发送至运动估算引擎和空间估算引擎。运动估算引擎读取来自帧缓冲的参考图像,搜索参考图像,找到当前宏模块的运动矢量。运动估算引擎还确定了每一宏模块所使用的最佳划分。
H.264规范支持4种不同的帧间预测宏模块划分以及4种不同的子宏模块划分。最佳运动矢量和最佳划分以及相应的估算宏模块编码成本被送至模式确定模块。最佳运动矢量和最佳划分信息还被送至运动补偿引擎。运动补偿引擎获得相应的参考区,完成半象素和四分之一象素滤波,为当前宏模块产生帧间预测。
空间估算引擎使用同一图像中相邻象素值,找到当前宏模块的最佳估算值。H.264规范共定义了9种帧内4x4亮度模式、4种帧内16x16亮度模式和4种帧内色度模式。空间估算引擎确定当前宏模块中使用的最佳亮度和色度模式。最佳模式以及相应的估算宏模块编码成本被送至模式确定模块。模式确定模块比较宏模块编码成本,确定要使用的最佳预测。预测可以是帧内或者帧间预测。最佳帧内模式被发送至帧内预测引擎。帧内预测引擎使用邻近象素值为当前宏模块产生帧内预测。
基于模式确定结果,变换和量化引擎从当前宏模块中提取出预测值。然后,它进行变换和量化,产生量化系数。宏模块信息采集器收集量化系数和其他宏模块信息,例如,运动矢量、帧间预测模式和帧内预测模式等。采集信息被送至CABAC模块,产生最终的比特流。使用基于前后关系的自适应二进制算法编码来完成这一工作。得到的比特流被送至帧缓冲。
通过以下三步来产生运动估算引擎和运动补偿引擎使用的参考图像:逆量化、逆变换和解块。解块模块减少了图像中的块状假象。将处理后的图像发送至帧缓冲,用作下一帧周期的参考图像。
目前基于DSP SoC的方案在监控市场占主流地位。一些FPGA厂商希望能在差异化和客户定制化方面显示出自己的优势。通过针对监控应用将FPGA器件和MPU/DSP结合在一起,设计师能从可编程协处理器的固有灵活性中得到好处,还可利用FPGA将精力集中在开发算法上,以充分利用MPU/DSP的处理能力。
【关键词】 FPGA;视频监视;HD监视摄像机
视频监视这一新的视频市场应用逐步向高清晰技术(HD)过渡,需要性能相对较高的视频处理能力。HD监视摄像机采用高质量H.264编码器对图像直接进行编码,图像可以通过标准以太网连接实现无失真传输。对HD视频流实时编码的主要类H.264编码器需要采用结合了高性能信号处理架构和低成本、低功耗特性的硬件平台,最新一代低成本FPGA成为实现这种平台的理想选择。介绍HD监视摄像机的体系结构,以及怎样采用低成本FPGA构建整个系统。
HD监视摄像机体系结构
新的高清晰IP摄像机是所有IP联网数字系统的终端设备。这些IP摄像机采集HD视频,经过预处理、编码,通过以太网发送编码后的数据流。所有信号处理功能都必须在一个器件中实现,以满足这类系统苛刻的成本和功耗要求。
(图1所示为这类摄像机的顶层体系结构)。除了编码引擎,高性价比设计还集成了摄像传感器预处理功能、帧缓冲存储控制器、用于系统控制的嵌入式处理器,以及以太网MAC。目的是提高整个系统的集成度,降低成本和功耗。
这一设计包括摄像传感器前端模块、视频压缩模块、以太网MAC模块、嵌入式处理器,以及向所有其他模块提供存储功能的多端口帧缓冲。
多端口帧缓冲用作汇集器。所有其他模块与帧缓冲进行双向数据传送,和别的模块进行通信。摄像传感器接收到的视频图像被送入摄像传感器前端模块。摄像传感器前端模块处理视频数据,将视频存储到帧缓冲中。然后,H.264编码器读取帧缓冲中的视频数据,完成编码过程。H.264编码器将压缩后的比特流送回帧缓冲,进行存储。最后,以太网MAC模块读取帧缓冲中压缩后的比特流,将其发送至以太网。
采用这种集成方式,电路板上的其他元件只有摄像传感器、DDR2-SDRAM、闪存和以太网PHY芯片(图2所示为这类系统的各个组成部分)。
详细设计
H.264编码器模块
该设计中使用的H.264编码器是EyeLytics公司提供的IP内核,它针对监视应用进行了优化。这一内核具有很多监视功能,包括多通道支持、恒定质量速率控制、帧内/帧间模式、QPEL、CABAC,并且逻辑门数量较少。
“Raster to Block”模块(图3左侧所示)按照光栅扫描顺序读取来自帧缓冲的图像,以宏模块格式重新排列这些图像。然后,将其发送至运动估算引擎和空间估算引擎。运动估算引擎读取来自帧缓冲的参考图像,搜索参考图像,找到当前宏模块的运动矢量。运动估算引擎还确定了每一宏模块所使用的最佳划分。
H.264规范支持4种不同的帧间预测宏模块划分以及4种不同的子宏模块划分。最佳运动矢量和最佳划分以及相应的估算宏模块编码成本被送至模式确定模块。最佳运动矢量和最佳划分信息还被送至运动补偿引擎。运动补偿引擎获得相应的参考区,完成半象素和四分之一象素滤波,为当前宏模块产生帧间预测。
空间估算引擎使用同一图像中相邻象素值,找到当前宏模块的最佳估算值。H.264规范共定义了9种帧内4x4亮度模式、4种帧内16x16亮度模式和4种帧内色度模式。空间估算引擎确定当前宏模块中使用的最佳亮度和色度模式。最佳模式以及相应的估算宏模块编码成本被送至模式确定模块。模式确定模块比较宏模块编码成本,确定要使用的最佳预测。预测可以是帧内或者帧间预测。最佳帧内模式被发送至帧内预测引擎。帧内预测引擎使用邻近象素值为当前宏模块产生帧内预测。
基于模式确定结果,变换和量化引擎从当前宏模块中提取出预测值。然后,它进行变换和量化,产生量化系数。宏模块信息采集器收集量化系数和其他宏模块信息,例如,运动矢量、帧间预测模式和帧内预测模式等。采集信息被送至CABAC模块,产生最终的比特流。使用基于前后关系的自适应二进制算法编码来完成这一工作。得到的比特流被送至帧缓冲。
通过以下三步来产生运动估算引擎和运动补偿引擎使用的参考图像:逆量化、逆变换和解块。解块模块减少了图像中的块状假象。将处理后的图像发送至帧缓冲,用作下一帧周期的参考图像。
目前基于DSP SoC的方案在监控市场占主流地位。一些FPGA厂商希望能在差异化和客户定制化方面显示出自己的优势。通过针对监控应用将FPGA器件和MPU/DSP结合在一起,设计师能从可编程协处理器的固有灵活性中得到好处,还可利用FPGA将精力集中在开发算法上,以充分利用MPU/DSP的处理能力。