智能监控的跨域问题研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:rural1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会正处于信息时代,多种多样的信息极大地充盈并丰富了人们的日常生活,同时也为信息处理科技带来了前所未有的机遇与挑战。随着计算机技术和人工智能技术的不断进步,面向监控视频的多媒体技术研究获得了前所未有的应用前景,已经成为安防信息领域的重要发展方向之一,在公众安全、公共交通、智慧城市等多方面发挥着越来越重要的作用。与此同时,深度学习技术和神经网络技术,也在不断增加的训练数据和计算能力的加持下实现了新的突破,成为数据处理和信息理解的主流技术。因此,当监控视频中涉及到的诸多多媒体应用遇上新一代深度学习技术,面向视频监控系统的智能化处理研究领域应运而生。该领域旨在利用神经网络来模拟人脑的复杂认知功能,从而自适应地接收和处理从监控系统中获得的海量信息,提升视频监控系统对于大规模数据的表征、处理、压缩、分析和理解能力,是新一代智能化多媒体领域实现大规模应用和发展中的关键技术之一。本论文旨在大数据智能时代背景下,围绕智能监控系统,针对该系统所涉及到的一系列多媒体计算问题开展研究,重点关注了当下智能监控系统所面临的核心挑战,即“跨域问题”。所谓跨域,指的是各类监控系统应用模型能够适应不同场景,在不同环境下依然能够顺畅、稳定地为多媒体智能任务提供可靠的、正确的分析结果。具体来说,随着多媒体智能化研究的不断发展,人们对面向监控视频的智能应用的跨域自适应能力、泛化能力提出更多的要求,大家不再满足于传统监控应用仅在单一场景下表现良好,比如,某些监控分析应用模型只能支持室内场景,当将模型部署到室外就会失效,这是不能接受的。目前,对于常见的计算机视觉任务,如物体检测、场景分割、目标跟踪等,更多的智能模型开始针对多媒体应用进行相应的跨域自适应处理(Domain Adaptation),从而使得模型能够满足不同场景、不同环境的需求。但是,目前还没有专门的工作,针对智能监控中无处不在又充满特殊性的“跨域问题”进行深入的研究和探索。在这一大背景下,本论文首先针对已有的智能监控相关方法所存在的缺陷,从数据类型、应用需求和任务目标等不同层次进行探索,又考虑到针对智能监控的研究涵盖一套完整的多媒体系统,因此本论文又从整体监控系统的前端采集、数据编码、后端分析三个方面全方位地研究了当下智能监控所面临的跨域问题:(1)监控前端采集的预处理增强、(2)监控数据传输的压缩编码、以及(3)监控后端应用的智能分析。更进一步地,从全局角度出发,提升监控视频智能模型的跨域泛化能力对上述提到的三个方面都尤为重要,并且与这三方面研究互相影响、相互促进,密切不可分割,共同构建了一套完整的系统框架。最终,为了研究设计出更有效、更有针对性的智能监控多媒体技术,从而解决核心跨域问题,本论文将面向视频监控系统的智能化研究,从单纯提高模型性能拓展到更关注模型跨域自适应能力、跨域泛化能力,从而打破传统监控方法跨场景应用效果欠佳的限制,提升了新一代智能监控系统适应不同场景、不同环境的可迁移性和可扩展性。具体地,论文从以下四个方面对智能化视频监控系统进行研究,并在不同的机器智能任务中进行了实验分析和验证。(1)面向监控前端采集的跨域增强技术:针对传统图像增强技术所存在的缺陷-包括只关注合成失真、只能处理单一退化、泛化能力差、以及缺乏与下游任务的联合优化等,本文提出三种有针对性的创新改进技术,分别对应自监督真实跨域场景训练机制、基于全频域增强的混合失真处理、以及结合下游智能任务的联合优化方案,达到了在真实跨域监控场景下,也能实现令人满意的预处理增强效果,并在监控去雨、去噪、去模糊、去混合失真、图像超分辨等任务上进行了验证。(2)面向监控数据传输的跨域编码技术:针对传统启发式编码压缩技术仅考虑人眼感知而忽略机器智能的问题,本文提出了设计一种支持机器智能的全新跨域压缩编码框架,使得监控数据编码压缩后得到的码流能够直接支持多种下游智能任务,包括物体检测、分割、识别等。其核心的技术创新在于利用基于学习的视频编码机制,并引入结构化语义码流的概念,实现对监控数据的高效特征表示及压缩,并将编码技术的优化准则从人眼感知跨越到了机器任务。(3)面向监控后端应用的跨域分析技术:针对传统云端智能应用在特征提取、特征表达、特征学习方面存在的问题,本文基于监控跨域行人重识别这一典型的任务,分别从特征对齐、信息蒸馏和全局分布约束角度出发,实现了隐空间特征语义一致、多视角信息增强和无监督优化,有效地分析了智能化监控系统应用设计时所需要注意的多个方面。(4)面向整体监控系统的模型泛化技术:针对监控智能化技术泛化能力不足的问题,本文又从全局角度出发,将视频监控的研究范围从单纯提高模型性能,拓展到更加关注其跨域自适应能力、跨域泛化能力,并利用跨域自适应(Domain Adaptation)和跨域泛化(Domain Generalization)技术对模型进行优化,在不同的场景,根据模型的状态,进行适合当前环境的自适应调整。通过此方式,在包括行人、车辆重识别在内的多种监控应用中,提升模型鲁棒性,降低数据敏感性。
其他文献
目前,随着我国社会整体发展速度不断的加快,越来越多的建筑工程涌现出来,为社会的发展以及国家经济水平的提升,起到了有力的保障性作用。良好的工程施工质量,需要做好前期的准备工作,其中岩土工程的勘察是必不可少的核心组成部分,而在整个勘察阶段水文地质的危害情况,很容易受到人们的忽视,将会严重影响后续工程施工的整体质量。因此本文基于上述问题,重点分析岩土工程的实际勘察工作中水文地质的危害,并提出有效的预防和
期刊
拉索是缆索承重桥梁最重要承力/传力构件,其安全状态检测/监测一直是桥梁界高度关注的热点科学技术问题。本文在国家自然科学基金项目“影像轮廓线叠差分析获取桥梁全息变形及结构状态演绎方法研究”(51778094)以及“基于桥面形态变化的桥梁安全状态监测方法与预警理论研究”(51708068)资助下,研发了桥梁静动影像全息性态健康监测诊断方法及系统(授权发明专利号:ZL 201910187373.7),系
学位
液态锂偏滤器是解决未来聚变堆面临的高热负荷的备选方案,基本原理是在固态靶板表面覆盖一层液态金属锂,避免固体材料与高温等离子体的直接接触,很好地缓解了固体靶板所面临的热冲击、辐照损伤、氢同位素滞留与再循环、杂质等,因此液态锂壁的发展越来越受大家的关注。本文从工程与物理两个方面深入介绍了关于流动液态锂限制器的工程设计与升级、液态锂壁下燃料粒子的滞留特性、锂的蒸汽屏蔽效应对等离子体热负荷的缓解等相关研究
学位
随着消费者和企业环保意识的不断提高,可持续发展已经成为全世界共同关注的主题。在运营管理领域,供应链可持续运营与清洁生产一直是国内外学者研究的热点。另一方面,随着平台经济的蓬勃发展,传统供应链逐渐向平台供应链结构转型。通过提高产品环保质量实现平台供应链的收益提升并减少对环境的损害,正逐渐受到研究者的重视。作为畅通上下游信息流的手段,信息共享已经成为协调供给与需求、提高供应链可持续运营水平的重要工具。
学位
分类问题是科研与实际应用中非常重要的一类问题,它在生物医疗,社会科学以及工程领域等都有着广泛的应用。对于分类问题来说,数据不足会导致模型估计有偏,因此拥有足够的高质量数据至关重要。而分类数据广泛存在的一个问题是样本稀缺,且标注成本较高。本文主要研究在不同的分类场景下,如何进行样本选择以及估计所需样本量,使得在确保分类精度的前提下降低标注成本。本文主要针对多分类问题以及含有分类噪声的二分类问题进行研
学位
这篇论文主要是关于刚果(金)雕塑概述,旨在描绘1930年到2019年刚果(金)雕塑的状况。从殖民化时期前着重殖民化时期再到刚果民主共和国独立后的各个时期,围绕着刚果(金)的雕塑创作等一系列关键性问题一直延续至今。作为论文研究的重点,刚果(金)雕塑作品提供了一个衡量雕塑概念和文化影响的标准,这些影响融合了15世纪以来,非洲中部刚果(金)王国、库巴王国的人民和探寻新土地的西方探险家的文化交流。实际上,
学位
肺癌是发病率最高、死亡人数最多的肿瘤类型之一,如何有效地提高肺癌诊治水平是目前亟待解决的临床难题之一。近些年,免疫治疗在肿瘤临床治疗中广泛应用,效果良好;肺癌临床治疗方案也从传统手术切除、放疗和化疗向免疫治疗发展。然而,囿于肺癌免疫原性较弱,肺癌免疫治疗整体响应率不高;因此,如何有效增强肺癌的免疫原性,是突破肺癌临床免疫治疗瓶颈的关键。诱导肿瘤细胞发生免疫原性死亡,是增强肿瘤免疫原性的有效手段之一
学位
后生元是对宿主健康有益的无生命微生物和/或其成分制剂,具有安全稳定、易于储存和生产、化学结构明确等优点。本文针对后生元主要活性成分、益生功能以及应用现状进行了综述,阐述了关于灭活的菌体细胞、菌体成分及菌体代谢产物对宿主的健康益处,总结了后生元在增强免疫力、调节胃肠道功能、缓解肥胖、维护口腔健康、预防骨质疏松等方面的研究进展,列举了日本、美国、德国以及国内市场的后生元产品,并提出了后生元存在的挑战和
期刊
调控材料的电输运性质和磁性是凝聚态物理学重要的研究方向,通常采用化学掺杂、外部压力、电化学插层等方式调控材料的输运性质。近年来,在二维材料中通过场效应管技术和降低维度发现了大量新奇的物理现象,如量子反常霍尔效应、高温超导、二维铁磁性等。调控超导电性和铁磁性对基础物理研究和自旋电子学器件应用有重要的意义,引起了大家广泛的研究兴趣。在本论文中,我们利用机械剥离和Al2O3辅助解理技术获得不同厚度的Fe
学位
随着信息科学、机械电子及人工智能技术的快速发展,上肢穿戴机器人作为多学科交叉的生机电一体化系统已经在医疗康复训练、军事单兵作战、人体负荷作业以及遥操作等领域得到了广泛应用。然而,目前的上肢穿戴机器人一方面存在环境感知不足和用户运动意图认知不足,无法及时地准确判断外界环境和用户运动意图并有效决策,造成机器人运动迟滞、甚至错误。另一方面,人-上肢穿戴机器人作为高度非线性人机强耦合系统,尽管一些人在环中
学位