面向视频流实时物体识别的自适应轻量级神经网络研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:lzh8608
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的快速发展给智能移动设备的使用提供了极大的便利,智能移动设备的类型以及设备上搭载的应用都有了量的飞跃。由于互联网掀起的短视频之风,基于视频流的应用不断涌出。生活中随处可见的是人们手持移动设备进行拍摄;使用无人机执行拍摄任务;利用可穿戴设备帮助老人识别物体等。近几年,整个社会的表达和创作都在视频化,智能移动设备对于视频流的识别任务需求量正在急剧增加。目前,通常会使用深度神经网络来处理连续视频流任务。然而,深度神经网络运行需要大量的资源,不易部署在移动平台。然而借用云端处理数据增大了数据传输时间,对实时任务不友好,同时又增大了用户隐私暴露的风险。解决这一问题的新兴范例是设计出符合移动设备资源限制和目标任务需求的轻量级神经网络。首先,在面对本地视频流时,处理方法主要包含帧间差分法、背景相减法、关键帧提取等,但上述传统方法由于计算和实现复杂并不适合部署在移动端。其次,通过设计轻量级神经网络实现移动端的物体识别是近年来研究的主要方向,包括模型压缩、手工设计轻量级神经网络和神经网络架构搜索等。然而前两种方法依赖人工经验,构建出的网络结构缺乏变化。尽管网络搜索已经逐渐舍弃人工的影响,但如今识别任务多种多样,现有方法仍然缺少了对任务多样化需求的考虑,即神经网络无法自适应。本文通过对上述方法进行分析,针对如何有效地在资源有限的平台实现实时物体识别,提出了一种面向视频流实时物体识别的自适应轻量级神经网络架构。首先,出于对实时性需求的考虑,提出了一个基于运动矢量和第一视角加速度的视频帧筛选方案,从根本出发降低延迟;其次,针对设备上搭载的多个任务对于识别结果需求的不同,采用多目标优化,从多个维度指标对模型进行约束,以满足不同任务的需求;最后设计了高效的神经网络架构搜索算法,确保获得的神经网络能够出色地完成实时物体识别任务,包括轻量级的搜索空间、多目标搜索算法以及加快模型评估速度的权值复用思想。通过实验验证,本项工作在公开数据集和自定义数据集上均表现出富有竞争力的结果,实现了高精度、低功耗的视频流实时物体识别。
其他文献
根据国务院印发的《中国儿童发展纲要(2021-2030年)》,新的儿童发展纲要强调缩小儿童发展的城乡、区域、群体差距。家庭环境作为儿童生活的最重要的场所之一,备受学者们的关注。家庭居住环境、家庭经济环境和家庭关系都直接影响儿童的健康状况。本文采用1997年至2015年中国健康与营养调查(CHNS)7期调查数据,选取0-18岁儿童作为研究对象,研究家庭环境对儿童客观健康和主观健康的影响。家庭环境包括
学位
2020年我国脱贫攻坚战取得了全面胜利,进入“后脱贫时代”,巩固脱贫攻坚成果、预防规模性返贫和乡村振兴成为了新时代下我国扶贫工作的重心。风险和脆弱性仍然是造成贫困的本质。其中,便不乏由于重大疾病、意外伤害等早逝风险引起的因逝致贫、返贫现象。近几年来,生活方式、工作节奏的改变使得过劳死、猝死、癌症成为了青壮年劳动力生命终结的重要诱因之一,早逝风险严重威胁着家庭经济状况。一旦家庭劳动力逝世,家庭不仅会
学位
在当前计算机视觉领域,针对人脸的分析研究有助于计算机理解人类情感,从而更好地为人类服务。面向人脸的图像合成任务是指对目标属性进行转换,同时保留其他面部特征。然而由于人脸的特殊性和复杂性,生成具有真实感的图像是此任务的一大挑战。传统图像合成方法缺乏针对性,并且基于深度学习的人脸图像合成算法通常采用一对一的映射网络,合成效率也不高。本文在现有人脸图像合成算法的研究基础上,对多任务增强生成对抗网络的图像
学位
长期以来,企业一味追逐经济效益,而忽视了其在环境、社会责任和公司治理方面应承担的义务,在生态环境污染破坏日渐严酷、物质资源越来越缺乏的大时代背景里,顺承绿色经济,坚持稳健增长,促进可持续发展,实现我国“碳达峰”、“碳中和”,形成绿色低碳的经济体系成为了我国现阶段的重要目标,而ESG的提升发展在这发展目标的顺利完成过程里,发挥关键的影响作用。愈来愈多的企业将环境、社会责任、公司治理(ESG)等影响因
学位
补充医疗保险是对基本医疗保险保障范围以外的医疗需求进行补充保障的一种医疗保险,是我国多层次医疗保障网络中不可缺少的组成成分之一,但其目前发挥的作用十分有限。风险偏好指个体在面对风险事件时所表现出来的主观态度,可分为风险喜好、风险中性以及风险厌恶。根据期望效用理论和保险需求理论,个体的风险偏好会对个体的投保行为产生重要影响,主要体现在是否投保以及投保金额这两个方面,因此,本文基于风险偏好研究了影响补
学位
自我国重新恢复保险经营以来,保险业取得了快速发展,保险主体的持续加入为行业发展注入了新生活力。但一直以来,我国财险市场存在着严重的行业垄断现象,市场集中度居高不下。虽然各中小型保险公司也有了长足的发展,但我国财险行业仍为寡头垄断市场,且这种结构短期内很难打破。此外,虽然近年来我国财险业保费收入维持增长趋势,但其在行业原保险总保费收入中的占比逐年递减,保费增长持续承压。从业务结构来看,车险是财险市场
学位
文本的表示学习是很多自然语言处理任务的基础,文本表示的质量也直接影响了下游分类、生成等任务的表现。从简单的独热表示、词包表示,到静态词嵌入以及有监督文本表示学习,文本表示方法已经取得了一系列的进展。近年来,以BERT为代表的基于Transformer结构的预训练语言模型在各类自然语言任务上取得了显著的进步,已经成为了提取文本表示的默认选择,得到广泛应用。但最新研究表明这类预训练语言模型提取的文本表
学位
光谱图像具有丰富的图像信息和光谱信息,在计算机视觉领域具有不可替代的地位。但由于硬件限制等原因,传感器所采集的光谱图像的空间分辨率较低,不利于进行后续分析处理。而作为图像融合技术的一个分支,光谱全色锐化技术被认为是提高光谱图像空间分辨率的最重要的技术之一。光谱全色锐化可以将全色图像的空间信息与光谱图像光谱信息相融合,获得高分辨率的光谱图像以满足后续需求。近年来,深度学习技术,由于其强大的特征提取手
学位
遥感图像的变化检测指的是通过卫星、无人机等一系列高低空遥感平台对地表拍摄,获取到图像从而进行检测来定位发生变化的区域以及识别不同的变化类型。利用遥感图像的变化检测对指导地质勘探、资源管理、环境监测等方面都有着重要意义。与传统的变化检测方法相比,深度学习的检测方法准确率更高,鲁棒性更强。因此本文从二类别变化检测和多类别变化检测的角度出发,对遥感图像进行研究。主要研究工作如下:(1)针对UNet++网
学位
为了应对人口老龄化问题,1994年,世界银行经过调查研究,提出了“三支柱养老保障体系”。该体系中,企业年金居于中间位置,自此之后,我国政府机构开始认识到企业年金的重要性。上世纪九十年代初期,企业补充养老保险第一次进入大众视野,一直到新世纪初期,企业年金正式登上历史舞台,企业年金开始成为我国养老保障体系的组成部分。和欧美地区相比,国内企业年金出现时间更晚一些,基金规模较小,仍存在比较大的发展空间,还
学位