NB-IoT环境下人脸增强视频编码方法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:jeffery2010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,社区安防监控视频在“平安城市建设工程”中发挥着越来越重要的作用。随着布设范围的扩大、视频清晰度的提高,监控数据飞速增长,给传输和存储带来巨大压力。当前高清监控视频以宽带、蜂窝网络和Wi-Fi为主的接入方式,成本居高不下,制约了摄像机的布设发展。以NB-IoT(窄带物联网)为代表的智慧物联网技术的兴起,给监控系统的扩展创造了技术条件。其广覆盖、多连接、低功耗和低成本的特点,具备很好的无线接入适配性,可极大降低监控视频的传输成本,扩大布设范围。但是NB-IoT上行带宽极窄,仅为180kbps,无法传输监控视频高清码流,限制了物联网技术在监控系统中的应用。如何针对安防监控视频特点,提出既能保证关键刑侦信息不丢失,又能实现超高倍的视频压缩方法,满足窄带要求,是目前尚待解决的技术难题。
  安防监控视频中,通常更为关注行人和人脸等关键信息。对于人脸,需要保持高分辨率的图像质量,从而保障人脸的可辨识性;对于行人目标,更多的是关注行为举动的辨识特征,需要时域上的连续性,而对分辨率要求不高。因此,针对关注人脸的监控视频,本文提出混合分辨率编码算法,以高分辨率编码关键帧的人脸区域,以低分辨率编码背景,实现了极低码率压缩的同时保证了人脸质量。围绕提出方法,本文主要做了以下工作:
  (1)提出监控视频混合分辨率编解码框架
  针对NB-IoT极低码率环境,设计关注人脸的监控视频混合分辨率编解码框架。在通用视频编解码框架基础上,添加人脸检测与跟踪模块,引入人脸和背景双流编码模式,设计混合码流,改进解码方法,增加了低清人脸超分辨率增强模块。所有研究内容都在该框架下展开。
  (2)提出混合分辨率的视频编码方法
  针对人脸和背景的重要程度与占用码率不对等,而常规监控视频编码方法无法兼顾人脸质量和带宽限制问题,本文提出关键帧人脸分辨率保真的混合分辨率视频编码方法。在编码前,首先提出监控视频人脸快速提取算法,通过统计训练约束模型优化单帧人脸检测速度,并采用检测与跟踪交替的方式提高视频中人脸分离速度。然后提出空域分解方法,实现背景下采样和I帧人脸子帧生成。以低分辨率编码背景,以对应的低清人脸为参考编码人脸子帧序列,得到混合码流信息,解码可合成关键帧高分辨率人脸图像。实验表明,本文方法相较于主流ROI编码方法(2016,Liao),关键帧人脸PSNR平均提高4.8dB,背景主观质量更优,编码速度提高4.5倍,更适合窄带极低码率环境。
  (3)提出基于关键帧参考的人脸超分辨率算法
  针对现有基于参考图像的超分辨率算法未充分利用人脸结构先验,缺乏人脸特征相似性约束,导致生成图像识别效果不佳的问题,本文提出基于人脸特征保持约束的双流卷积神经网络,实现基于高清参考的人脸超分过程。实验表明,本文方法相较于SRNTT(2019,Zhang),人脸PSNR平均提升1.92dB,SSIM平均提升0.02,在混合分辨率编码框架中,可显著提高P帧人脸质量,改善解码视频人脸的视觉流畅性。
  (4)设计NB-IoT环境下人脸监控视频编码系统
  在上述研究的基础上,本文进一步展开应用层面的软件仿真设计。通过搭建NB-IoT环境下人脸监控仿真系统,验证本文算法的有效性和实用性。通过MFC实现界面模块的交互操作,以RTP协议传输实时媒体数据码流,多个平台协同运行,模拟窄带环境,实现编码、解码和增强识别过程。实验结果表明,仿真系统对1080p高清监控视频压缩效率高,人脸识别率接近原始高清序列,具备NB-IoT环境下的实用性。
  综上,本文围绕NB-IoT环境下关注人脸的监控视频,提出混合分辨率编码方法,实现关键帧人脸分辨率保真编码,非关键帧人脸超分辨率增强,背景低清降质的混合编码模式,取得了高倍率压缩且人脸质量良好的效果,在NB-IoT环境下具备独特性和实用性。
其他文献
该文通过双歧杆菌培养物对大肠癌细胞系CCL细胞的第二信使系统影响从细胞水平,以及对HT细胞系的谷胱甘肽巯基转移酶mRNA转录影响的基因水平探讨双歧杆菌培养物影响机体代谢、抗肿瘤、抗衰老以及抗细菌、病毒感染的细胞分子机制,获得如下主要结果.一、双歧杆菌培养物对大肠癌细胞系CCL第二信使系统影响;二、双歧杆菌培养物对HT细胞内GSTmRNA表达的影响.该文实验应用同位素标记技术、薄板层析技术、离子交换
学位
该文纯化了酿酒酵母(Saccharomyces cerevisiae)和大肠杆菌(Escherichia coli)的精氨酰-tRNA合成酶(ArgRS),以酵母tRNA,和大肠杆菌tRNA为对象研究它们之间的交叉识别.氨酰反应的动力学常数表明酵母ArgRS能够氨酰化大肠杆菌的tRNA,但催化效率较其氨酰化天然或转录的酵母tRNA为低.而大肠杆菌ArgRS只能识 别大肠杆菌的tRNA,不能催化酵母
学位
磷脂酶A(PLA)广泛存在于各种蛇的毒液中,它能酶促水解甘油磷脂的第二位酯酰键,生成溶血磷脂和脂肪酸,并且具有多种药理学功能.从江浙蝮蛇毒液中分离得到酸性PLA(APLA)、碱性PLA(BPLA)和中性PLA(NPLA)三种PLA,其中APLA能抑制血小板聚集,NPLA属于突触前神经毒素,BPLA则具有溶血活性.PLA分子量只有14kD左右,却具有众多的药理学活性,它既是基础研究的重点,又具有 潜
学位
为抑制Ⅲ°烧伤后疤痕的形成,研究人员从促进疤痕形成的生长因子TGF-β着手.应用反义脱氧寡核苷酸和反义TGF-β质粒封闭TGF-β的表达,设计合成了正义1、反义、错醋义寡核苷酸,构建了反义TGF-β质粒,分别作用于培养的人皮肤成纤维细胞,应用细胞计数、RT-PCR、原位杂交、免疫组化、Westerblot、病理检测等方法证实了反义TGF-β能抑制人皮肤成纤维细胞的增殖,抑制胶原的合成.正义、错配义
水轮机微机调速器是水轮机控制系统中的重要设备,近年来PLC技术在此领域得到了广泛的应用.该文采用三菱公司的FX PLC实现了水轮机调速器的基本功能,对系统的硬件和软件进行了详细的分析和说明.文章重点研究了以下几个问题:1.根据PLC自身的特点开发设计了测频电路.2.对多种水轮机开机规律进行分析比较,以开环开机为基础提出了一种增量开二次方的开机规律,实现了机组的快速平稳启动.3.分析了并联PID的离
学位
PLC
电站锅炉煤粉燃烧过程中产生大量的氮氧化物(NO),NO对生态环境造成很严重的破坏.国内外科技工作者对煤粉燃烧过程中NO的生成机理和控制技术进行了大量的研究工作,这些研究可以分为NOx的生成机理、NO生成影响因素的实验研究、NO生成的数值模拟、煤燃烧过程NO控制技术、燃煤锅炉NO排放特性和锅炉NO生成量的预测等各方面,该文对国内外的研究进行了全面综述.煤粉的燃烧过程涉及多方面的影响因素,如稳定性、安
学位
随着无机纳米粒子在光学、生物、能源等领域的应用优势日渐凸显,对其功能化性质的要求越来越迫切。而且在评估、优化、修饰其性能时,表面裸露、无配体的纳米粒子是理想的参照材料,因此,制备无配体的纳米粒子成为人们研究的热点。经过近三十年的发展,飞秒激光液相合成纳米粒子已经发展成为一种可扩展的易操作的无配体纳米粒子合成手段。它不仅解决了传统方法提纯步骤复杂、副产物多、有配体的缺点,而且还实现了高产出、便捷、灵
作为一门新兴学科,光子技术以其极高的信息容量和效率、极快的响应速度、极大的存储能力、极强的互连能力与并行能力,取得了快速发展。在光学传感、信息传输、高速信息处理、信息存储与显示等方面得到了广泛的应用。光子技术与电子技术形成相互补充、共融与促进的关系,使其在商品市场的份额逐年快速增长。光子生物化学传感已成为当今光子学研究的重要领域之一。光子技术的快速发展极大地提高了光子生物化学传感的性能,特别是在光
该论文利用超高真空扫描隧道显微镜(UHV STM)研究了室温条件下沉积在Si(111)7×7重构表面不同覆盖度的Ag粒子.实验结果表明,低覆盖度时的Ag粒子主要有A、B两种类型,其中A型Ag粒子呈环状结构,最小的A型Ag粒子由3个Ag原子组成;而B型Ag粒子则是由两层Ag原子构成.高覆盖度时Ag粒子的生长过程为层岛混合生长(Stranski-Krastanov)模式.该文还研究了不同蒸发速率对Ag
基于音视频分析的全天智能监控系统具有广泛的应用,近年来日益得到了关注。目前视频监控已得到了充分的发展,相对而言,音频监控及其核心技术音频场景(或音频事件)分析还处于初级阶段,有待进一步发展。与此同时,音频场景识别/分析在智能家居领域得到广泛应用。为此,本文以家居环境下的音频场景分析问题作为研究对象,从以下几个方面开展了创造性工作。  1)建立家居音频场景数据库。该数据库包括2个城镇家庭和2个农村家