论文部分内容阅读
近年来,社区安防监控视频在“平安城市建设工程”中发挥着越来越重要的作用。随着布设范围的扩大、视频清晰度的提高,监控数据飞速增长,给传输和存储带来巨大压力。当前高清监控视频以宽带、蜂窝网络和Wi-Fi为主的接入方式,成本居高不下,制约了摄像机的布设发展。以NB-IoT(窄带物联网)为代表的智慧物联网技术的兴起,给监控系统的扩展创造了技术条件。其广覆盖、多连接、低功耗和低成本的特点,具备很好的无线接入适配性,可极大降低监控视频的传输成本,扩大布设范围。但是NB-IoT上行带宽极窄,仅为180kbps,无法传输监控视频高清码流,限制了物联网技术在监控系统中的应用。如何针对安防监控视频特点,提出既能保证关键刑侦信息不丢失,又能实现超高倍的视频压缩方法,满足窄带要求,是目前尚待解决的技术难题。
安防监控视频中,通常更为关注行人和人脸等关键信息。对于人脸,需要保持高分辨率的图像质量,从而保障人脸的可辨识性;对于行人目标,更多的是关注行为举动的辨识特征,需要时域上的连续性,而对分辨率要求不高。因此,针对关注人脸的监控视频,本文提出混合分辨率编码算法,以高分辨率编码关键帧的人脸区域,以低分辨率编码背景,实现了极低码率压缩的同时保证了人脸质量。围绕提出方法,本文主要做了以下工作:
(1)提出监控视频混合分辨率编解码框架
针对NB-IoT极低码率环境,设计关注人脸的监控视频混合分辨率编解码框架。在通用视频编解码框架基础上,添加人脸检测与跟踪模块,引入人脸和背景双流编码模式,设计混合码流,改进解码方法,增加了低清人脸超分辨率增强模块。所有研究内容都在该框架下展开。
(2)提出混合分辨率的视频编码方法
针对人脸和背景的重要程度与占用码率不对等,而常规监控视频编码方法无法兼顾人脸质量和带宽限制问题,本文提出关键帧人脸分辨率保真的混合分辨率视频编码方法。在编码前,首先提出监控视频人脸快速提取算法,通过统计训练约束模型优化单帧人脸检测速度,并采用检测与跟踪交替的方式提高视频中人脸分离速度。然后提出空域分解方法,实现背景下采样和I帧人脸子帧生成。以低分辨率编码背景,以对应的低清人脸为参考编码人脸子帧序列,得到混合码流信息,解码可合成关键帧高分辨率人脸图像。实验表明,本文方法相较于主流ROI编码方法(2016,Liao),关键帧人脸PSNR平均提高4.8dB,背景主观质量更优,编码速度提高4.5倍,更适合窄带极低码率环境。
(3)提出基于关键帧参考的人脸超分辨率算法
针对现有基于参考图像的超分辨率算法未充分利用人脸结构先验,缺乏人脸特征相似性约束,导致生成图像识别效果不佳的问题,本文提出基于人脸特征保持约束的双流卷积神经网络,实现基于高清参考的人脸超分过程。实验表明,本文方法相较于SRNTT(2019,Zhang),人脸PSNR平均提升1.92dB,SSIM平均提升0.02,在混合分辨率编码框架中,可显著提高P帧人脸质量,改善解码视频人脸的视觉流畅性。
(4)设计NB-IoT环境下人脸监控视频编码系统
在上述研究的基础上,本文进一步展开应用层面的软件仿真设计。通过搭建NB-IoT环境下人脸监控仿真系统,验证本文算法的有效性和实用性。通过MFC实现界面模块的交互操作,以RTP协议传输实时媒体数据码流,多个平台协同运行,模拟窄带环境,实现编码、解码和增强识别过程。实验结果表明,仿真系统对1080p高清监控视频压缩效率高,人脸识别率接近原始高清序列,具备NB-IoT环境下的实用性。
综上,本文围绕NB-IoT环境下关注人脸的监控视频,提出混合分辨率编码方法,实现关键帧人脸分辨率保真编码,非关键帧人脸超分辨率增强,背景低清降质的混合编码模式,取得了高倍率压缩且人脸质量良好的效果,在NB-IoT环境下具备独特性和实用性。
安防监控视频中,通常更为关注行人和人脸等关键信息。对于人脸,需要保持高分辨率的图像质量,从而保障人脸的可辨识性;对于行人目标,更多的是关注行为举动的辨识特征,需要时域上的连续性,而对分辨率要求不高。因此,针对关注人脸的监控视频,本文提出混合分辨率编码算法,以高分辨率编码关键帧的人脸区域,以低分辨率编码背景,实现了极低码率压缩的同时保证了人脸质量。围绕提出方法,本文主要做了以下工作:
(1)提出监控视频混合分辨率编解码框架
针对NB-IoT极低码率环境,设计关注人脸的监控视频混合分辨率编解码框架。在通用视频编解码框架基础上,添加人脸检测与跟踪模块,引入人脸和背景双流编码模式,设计混合码流,改进解码方法,增加了低清人脸超分辨率增强模块。所有研究内容都在该框架下展开。
(2)提出混合分辨率的视频编码方法
针对人脸和背景的重要程度与占用码率不对等,而常规监控视频编码方法无法兼顾人脸质量和带宽限制问题,本文提出关键帧人脸分辨率保真的混合分辨率视频编码方法。在编码前,首先提出监控视频人脸快速提取算法,通过统计训练约束模型优化单帧人脸检测速度,并采用检测与跟踪交替的方式提高视频中人脸分离速度。然后提出空域分解方法,实现背景下采样和I帧人脸子帧生成。以低分辨率编码背景,以对应的低清人脸为参考编码人脸子帧序列,得到混合码流信息,解码可合成关键帧高分辨率人脸图像。实验表明,本文方法相较于主流ROI编码方法(2016,Liao),关键帧人脸PSNR平均提高4.8dB,背景主观质量更优,编码速度提高4.5倍,更适合窄带极低码率环境。
(3)提出基于关键帧参考的人脸超分辨率算法
针对现有基于参考图像的超分辨率算法未充分利用人脸结构先验,缺乏人脸特征相似性约束,导致生成图像识别效果不佳的问题,本文提出基于人脸特征保持约束的双流卷积神经网络,实现基于高清参考的人脸超分过程。实验表明,本文方法相较于SRNTT(2019,Zhang),人脸PSNR平均提升1.92dB,SSIM平均提升0.02,在混合分辨率编码框架中,可显著提高P帧人脸质量,改善解码视频人脸的视觉流畅性。
(4)设计NB-IoT环境下人脸监控视频编码系统
在上述研究的基础上,本文进一步展开应用层面的软件仿真设计。通过搭建NB-IoT环境下人脸监控仿真系统,验证本文算法的有效性和实用性。通过MFC实现界面模块的交互操作,以RTP协议传输实时媒体数据码流,多个平台协同运行,模拟窄带环境,实现编码、解码和增强识别过程。实验结果表明,仿真系统对1080p高清监控视频压缩效率高,人脸识别率接近原始高清序列,具备NB-IoT环境下的实用性。
综上,本文围绕NB-IoT环境下关注人脸的监控视频,提出混合分辨率编码方法,实现关键帧人脸分辨率保真编码,非关键帧人脸超分辨率增强,背景低清降质的混合编码模式,取得了高倍率压缩且人脸质量良好的效果,在NB-IoT环境下具备独特性和实用性。