论文部分内容阅读
【摘要】 随着视频监控设备的更新换代，监控视频数据量日趋庞大，极大增加了传统视频压缩算法计算复杂度的同时，对视频传输和存储资源的需求也极大增加。针对此问题，本文提出一种面向视频监控的分布式视频压缩感知方案，该方案在预测-残差分块重建框架下进一步引入多维参考帧，通过获取更多维度上的相似块提高相似块组的稀疏程度，得到更高的重建质量。实验证明，该方案对摄像头位置固定（角度可变）的监控视频的重建质量具有明显的提升效果。
【关键词】 视频压缩感知 多维度参考帧 多假设
引言：
视频监控在交通管理、安全防护、工业制造、家庭住宅以及国防工业等领域均有广泛的运用。视频监控系统一般由用户端和服务器端两部分组成，摄像头将拍摄的视频传输至服务端进行进一步处理，小型的视频监控系统中，多采用专业人员通过显示器进行专项监管的方式[1]，但随着视频监控系统规模的不断扩大，单纯靠人力不仅效率较低而且容易出现疏漏，因此，大规模视频监控系统通常将摄像头采集的视频数据保存，然后再使用人力或智能分析手段在服务端进行存储录像的分析，值得注意的是，存储未经处理的视频成本很大，例如一个24Hz 的VGA摄像头，每录制1s视频所需的存储空间为10MB，录制24h的视频所需存储空间超过1TB，尽管存储器价格下降较快，但这种投入仍不可接受，并且如此大数据量的视频在无线/有线网络中可靠地实时传输也是一个巨大的考验。
压缩感知理论由Candes，Donoho，T.Tao等在2006年在文献[2]中正式发表，通过完备字典将输入信号稀疏表示后可以采用低于Nyquist-Shannon定理规定的两倍信號带宽采样频率同时完成采样与压缩，使用重建算法恢复输入信号。压缩感知理论在视频采样端同时完成采样与压缩过程，大大节省了采样资源，并且视频采样后的数据量大幅降低，后续处理所需带宽和存储空间均明显降低，也极大缓解了“大数据”的压力。
位置固定（角度可变）的摄像头采集的视频序列的背景部分通常是固定不变或缓慢移动的，因此运动物体的重建质量是重点关注问题，运动物体多会发生半像素位移及缩放形变，并且并非周期性产生，在一些情况下仅使用时序参考帧并不能搜索到待重建视频块的优质相似块，因此，本文提出一种基于多维度参考帧的分布式视频压缩感知重建方案。
一、基于多维度参考帧的分布式视频压缩感知
目前，综合性能最优秀的基于多参考帧的多假设预测类算法是文献[3]提出的2sMHR，该算法不仅对缓速运慢序列的重建具有较优的重建质量，还保持极低的时间复杂度，得益于该算法进行多假设重建时采用固定假设块数量以及直接求解线性权值的方法。位置固定（角度可变）的摄像头采集的视频序列中的物体常产生半像素位移，并且运动中的物体还会产生程度随机且不具有周期性的缩放变化，因此仅使用时域多参考帧进行多假设预测的包括2sMHR在内的多种多假设预测算法均较难取得此类物体的优质相似块，并且由于2sMHR采用固定假设块数量的方法，面对此类物体时很有可能引入质量不高的假设块导致重建质量降低。因此，针对缓慢运动视频块，额外引入半像素维参考帧和缩放维参考帧[4]以提供质量更优的假设块，提出一种基于多维度参考帧的分布式视频压缩感知重建算法。
半像素参考帧通过对时域参考帧进行半像素插值后得到，为保证插值参考帧不带来额外诸如边缘锯齿、轮廓模糊、过度平滑等失真现象影响半像素参考帧质量，同时保持较高的插值效率，此处采用文献[5]提出的6阶插值滤波实现时域参考帧的插值，将插值参考帧尺寸拓展为原始尺寸的4倍，然后提取、分离相同位置的半像素点，重组后得到3个与原视频帧尺寸相同的半像素参考帧以提供更多运功估计假设。
缩放维参考帧通过立方卷积插值对时域参考帧进行缩小或放大后生成，缩放率设为15%，即每个参考帧生成2个缩放维参考帧。使用0元素补齐缩小后的参考帧边缘，剔除放大后的参考帧边缘，保持缩放后的参考帧尺寸与原参考帧一致。
记Rf，1、Rf，2和Rf，3为3个半像素参考帧，Zf，1和Zf，2为2个缩放参考帧，以GOP = 8为例，GOP中的视频帧按时间顺序编号为1-8号，其中1号帧是Key帧，其余帧是CS帧，9号帧是下一GOP 的Key帧。
第2帧和第8帧仅使用时域参考帧，中间帧第5帧使用相邻两个方向的多维度参考帧，其他帧使用重建方向上的多维度参考帧。
增加参考帧数量后，采用全搜索方式搜索匹配块的效率太低，由于监控视频中运动视频块的匹配块会位于参考帧中几乎相同的位置，或者在相同位置的附近，因此，采用四步快速搜索算法在多个参考帧中实现待重建视频块的最优匹配块的大范围快速搜索，匹配准则采用MSE。运动块与对应匹配块的相似程度较高，故只需少量匹配块即可完成重建，另外，重建质量还受采样率的影响，随着CS帧采样率的提高，所需最优匹配块数量增加。
因此可以采用文献[3]的固定匹配块数的方式，通过大量的实验验证并且折中重建时间与重建质量使两者均达到较优，得出在采样率分别为0.1、0.2、0.3时，对应匹配块数量分别是244块、300块、362块。
二、仿真实验
将标准视频序列Hall、Mother-daughter、Tempete和Foreman的前96帧作为实验对象，上述序列中Hall是监控视频序列，其他三个序列中物体运动程度接近监控序列的运动情况，设定GOP = 16，采用提出算法和文献[3]算法分别在0.1、0.2、0.3的采样率下对上述序列的所有CS帧进行重建，重建结果如表1所示。
提出算法在0.1、0.2、0.3的采样率下对实验序列的重建质量均高于文献[3]算法，原因在于提出算法在重建时引入了多个多维度参考帧，可以为视频序列中发生缩放变化的视频块，例如Tempete和Hall序列，提供优质的匹配块，因而提高了重建质量。
三、结束语
本文提出的基于多维度参考帧的视频压缩感知重建算法在预测-残差分块重建框架下进一步引入多维参考帧，通过多维度参考帧获取更多当前待重建块的相似块的方式，提高了相似块组的整体稀疏程度，从而获得得到更良好的重建质量。
实验结果表明，该方案对摄像头位置固定（角度可变）的监控视频的重建质量相较于多假设类重建算法具有明显的提升效果。
参 考 文 献
[1] 王谨毓. 智能校园安防监控物联网系统设计[J]. 现代电子技术， 2019，42（06）： 51-54.
[2] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory， 2006， 52（4）： 1289-1306.
[3] 欧伟枫. 视频压缩感知多假设预测重构算法研究[D]. 华南理工大学， 2016.6.
[4] 杨春玲， 郑学炜. CVS中基于多维度参考帧的双稀疏重构算法[J]. 华南理工大学学报， 2018.46（8）： 1-10.
[5] Wiegand T. Draft ITU-T recommendation and final draft international standard of joint video specification （ITU-T Rec. H. 264| ISO/IEC 14496-10 AVC） [J]. JVT-G050， 2003.
【关键词】 视频压缩感知 多维度参考帧 多假设
引言：
视频监控在交通管理、安全防护、工业制造、家庭住宅以及国防工业等领域均有广泛的运用。视频监控系统一般由用户端和服务器端两部分组成，摄像头将拍摄的视频传输至服务端进行进一步处理，小型的视频监控系统中，多采用专业人员通过显示器进行专项监管的方式[1]，但随着视频监控系统规模的不断扩大，单纯靠人力不仅效率较低而且容易出现疏漏，因此，大规模视频监控系统通常将摄像头采集的视频数据保存，然后再使用人力或智能分析手段在服务端进行存储录像的分析，值得注意的是，存储未经处理的视频成本很大，例如一个24Hz 的VGA摄像头，每录制1s视频所需的存储空间为10MB，录制24h的视频所需存储空间超过1TB，尽管存储器价格下降较快，但这种投入仍不可接受，并且如此大数据量的视频在无线/有线网络中可靠地实时传输也是一个巨大的考验。
压缩感知理论由Candes，Donoho，T.Tao等在2006年在文献[2]中正式发表，通过完备字典将输入信号稀疏表示后可以采用低于Nyquist-Shannon定理规定的两倍信號带宽采样频率同时完成采样与压缩，使用重建算法恢复输入信号。压缩感知理论在视频采样端同时完成采样与压缩过程，大大节省了采样资源，并且视频采样后的数据量大幅降低，后续处理所需带宽和存储空间均明显降低，也极大缓解了“大数据”的压力。
位置固定（角度可变）的摄像头采集的视频序列的背景部分通常是固定不变或缓慢移动的，因此运动物体的重建质量是重点关注问题，运动物体多会发生半像素位移及缩放形变，并且并非周期性产生，在一些情况下仅使用时序参考帧并不能搜索到待重建视频块的优质相似块，因此，本文提出一种基于多维度参考帧的分布式视频压缩感知重建方案。
一、基于多维度参考帧的分布式视频压缩感知
目前，综合性能最优秀的基于多参考帧的多假设预测类算法是文献[3]提出的2sMHR，该算法不仅对缓速运慢序列的重建具有较优的重建质量，还保持极低的时间复杂度，得益于该算法进行多假设重建时采用固定假设块数量以及直接求解线性权值的方法。位置固定（角度可变）的摄像头采集的视频序列中的物体常产生半像素位移，并且运动中的物体还会产生程度随机且不具有周期性的缩放变化，因此仅使用时域多参考帧进行多假设预测的包括2sMHR在内的多种多假设预测算法均较难取得此类物体的优质相似块，并且由于2sMHR采用固定假设块数量的方法，面对此类物体时很有可能引入质量不高的假设块导致重建质量降低。因此，针对缓慢运动视频块，额外引入半像素维参考帧和缩放维参考帧[4]以提供质量更优的假设块，提出一种基于多维度参考帧的分布式视频压缩感知重建算法。
半像素参考帧通过对时域参考帧进行半像素插值后得到，为保证插值参考帧不带来额外诸如边缘锯齿、轮廓模糊、过度平滑等失真现象影响半像素参考帧质量，同时保持较高的插值效率，此处采用文献[5]提出的6阶插值滤波实现时域参考帧的插值，将插值参考帧尺寸拓展为原始尺寸的4倍，然后提取、分离相同位置的半像素点，重组后得到3个与原视频帧尺寸相同的半像素参考帧以提供更多运功估计假设。
缩放维参考帧通过立方卷积插值对时域参考帧进行缩小或放大后生成，缩放率设为15%，即每个参考帧生成2个缩放维参考帧。使用0元素补齐缩小后的参考帧边缘，剔除放大后的参考帧边缘，保持缩放后的参考帧尺寸与原参考帧一致。
记Rf，1、Rf，2和Rf，3为3个半像素参考帧，Zf，1和Zf，2为2个缩放参考帧，以GOP = 8为例，GOP中的视频帧按时间顺序编号为1-8号，其中1号帧是Key帧，其余帧是CS帧，9号帧是下一GOP 的Key帧。
第2帧和第8帧仅使用时域参考帧，中间帧第5帧使用相邻两个方向的多维度参考帧，其他帧使用重建方向上的多维度参考帧。
增加参考帧数量后，采用全搜索方式搜索匹配块的效率太低，由于监控视频中运动视频块的匹配块会位于参考帧中几乎相同的位置，或者在相同位置的附近，因此，采用四步快速搜索算法在多个参考帧中实现待重建视频块的最优匹配块的大范围快速搜索，匹配准则采用MSE。运动块与对应匹配块的相似程度较高，故只需少量匹配块即可完成重建，另外，重建质量还受采样率的影响，随着CS帧采样率的提高，所需最优匹配块数量增加。
因此可以采用文献[3]的固定匹配块数的方式，通过大量的实验验证并且折中重建时间与重建质量使两者均达到较优，得出在采样率分别为0.1、0.2、0.3时，对应匹配块数量分别是244块、300块、362块。
二、仿真实验
将标准视频序列Hall、Mother-daughter、Tempete和Foreman的前96帧作为实验对象，上述序列中Hall是监控视频序列，其他三个序列中物体运动程度接近监控序列的运动情况，设定GOP = 16，采用提出算法和文献[3]算法分别在0.1、0.2、0.3的采样率下对上述序列的所有CS帧进行重建，重建结果如表1所示。
提出算法在0.1、0.2、0.3的采样率下对实验序列的重建质量均高于文献[3]算法，原因在于提出算法在重建时引入了多个多维度参考帧，可以为视频序列中发生缩放变化的视频块，例如Tempete和Hall序列，提供优质的匹配块，因而提高了重建质量。
三、结束语
本文提出的基于多维度参考帧的视频压缩感知重建算法在预测-残差分块重建框架下进一步引入多维参考帧，通过多维度参考帧获取更多当前待重建块的相似块的方式，提高了相似块组的整体稀疏程度，从而获得得到更良好的重建质量。
实验结果表明，该方案对摄像头位置固定（角度可变）的监控视频的重建质量相较于多假设类重建算法具有明显的提升效果。
参 考 文 献
[1] 王谨毓. 智能校园安防监控物联网系统设计[J]. 现代电子技术， 2019，42（06）： 51-54.
[2] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory， 2006， 52（4）： 1289-1306.
[3] 欧伟枫. 视频压缩感知多假设预测重构算法研究[D]. 华南理工大学， 2016.6.
[4] 杨春玲， 郑学炜. CVS中基于多维度参考帧的双稀疏重构算法[J]. 华南理工大学学报， 2018.46（8）： 1-10.
[5] Wiegand T. Draft ITU-T recommendation and final draft international standard of joint video specification （ITU-T Rec. H. 264| ISO/IEC 14496-10 AVC） [J]. JVT-G050， 2003.