基于深度学习的低延迟视频语义分割算法

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:leeannie222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于深度学习在图像领域的发展,语义分割取得了显著的进步。然而,如何保证视频场景任务下语义分割算法的实时性,如自动驾驶,仍然是一个具有挑战性的问题。现有的许多图像语义分割方法,大都具有很高的算法延迟。通常难以满足实际应用中具有高吞吐数据量的视频流。而利用视频数据本身的时序性与冗余性,能够为语义分割任务提供更多的特征信息,同时减少计算开销,有利于提高视频语义分割的准确性与实时性。其核心是高效的特征信息提取、精准的关键帧匹配,以及灵活的帧间特征传播。针对这些研究问题,本文开展了理论分析,方法研究与数据验证等工作,主要创新如下:1.提出了一种高性能的基础分割网络的构建方法。使用Res Net-34结合本文提出的空间注意力机制模块(SAM)和通道融合模块(CFM),解决了普通分割网络难以捕获丰富上下文信息的问题,并且能有效地结合不同层次的特征。在实现提高网络对细节特征处理能力的同时,有效减少了算法的推理延迟。2.提出了一种能够适应视频内容快速变化的关键帧调度策略。通过对临近帧的像素级相似性关系进行建模,导出了最优的关键帧判断准则。再利用小型的CNN网络去拟合这一相似性度量的过程,使其高效且易实现。解决了之前关键帧识别方法中关键帧的更新率与视频内容变化难以一致的问题。3.提出了一种非关键帧的自适应特征传播方法。通过构建拥有注意力机制的小型网络建立了非关键帧与关键帧的空间特征关联,在关键帧的特征基础上进行全局权值调整,从而快速地获得当前帧的高层语义特征。解决了之前特征传播方法不能灵活传导帧间特征细微变化的问题,实现了已有特征的精确和高效利用。本文提出的方法已通过数据集上的实验对比验证,结果表明,这些方法更能够得到解决语义分割中精度与低延迟不能兼顾的问题,在Cityscapes数据集上实现了平均76.8%的m Io U,以及26.8fps的性能。
其他文献
组蛋白磷酸化是组蛋白表观修饰方式之一。组蛋白H3第三位苏氨酸的磷酸化修饰是细胞有丝分裂期的标志性事件,磷酸化的H3T3能招募CPC复合物于着丝粒,CPC复合物通过对下游众多蛋
本文以美微传媒网络股权众筹融资为开篇,引出股权众筹在我国存在的合法性及其可能面临的法律风险的思考。由于目前股权众筹在我国的法律规制相对滞后,本文通过股权众筹在域外
本文是关于各向异性的抛物方程的研究,在各向异性变指数Sobolev空间框架下讨论局部解的存在性,研究的主要内容包括利用再模化方法证明了带有对流项的各向异性的非线性抛物方程弱解的存在性,讨论了各向异性变指数方程解的熄灭性,正性以及爆破性.第一章,介绍各向异性的偏微分方程的一些背景和研究现状,给出拟利用空间的基本定义和性质,并列出本文结构的主要内容.第二章,主要研究如下各向异性变指数抛物方程在假设2&
网络服务的提供与管理日益困难,网络功能虚拟化(Network Functions Virtualization,NFV)技术是解决这个问题的一种方法。NFV将网络功能与硬件分离,并将它们作为软件部署在通
叶绿体是绿色植物特有的细胞器,并且光合作用、光呼吸和氮代谢等多种重要代谢途径均在此发生,因此研究清楚叶绿体的生长发育对了解植物的发育和产量等具有重要意义。本研究通
浮游生物动力学是通过研究生物模型的动力学行为,分析养分-浮游植物-浮游动物间的相互作用关系,从而对浮游生物的生长及病毒感染的规律做定性定量分析.但由于生态系统的复杂性,无论是浮游生物的生长过程还是病毒的传播过程都会或多或少地受到白噪声的扰动.不仅如此,浮游生物和病毒感染还经常会受到颜色噪声的扰动,会导致其从一个环境状态切换到另一种截然不同的环境状态.于是,在研究浮游生物的动力学行为时考虑白噪声和颜
LB公司是国内商业地产行业知名品牌旗下北京子公司,公司现有员工4000余人,其中各类工程技术及管理人员1000多人。近几年来,公司大力发展政府合作项目,物业持有份额持续增加。
随着现代工业与控制技术的快速发展,复杂网络的研究已经广泛应用到众多科学领域,如生物科学、人工智能和社会科学等,越来越多的学者持续关注复杂网络.量化控制可以有效降低信号传输频率,提高网络资源有效利用率,从而满足现代网络控制的要求.但引入量化器进行量化控制的同时也要考虑如何克服信号量化带来的量化误差.采用量化器去控制网络同步或稳定的策略尚未得到充分关注,相关工作有待进一步研究.本文在已有成果的基础上,
政府购买公共服务作为公共服务供给的一种新形式,在西方国家由来己久,该项制度对于转变政府职能、提高行政效率和公共服务的质量,促进社会组织的发展都有着重要的现实意义。
科技城PPP项目紧邻郑州市核心区,区位优势明显,本项目所在的金水科教园区是最先承接郑州市核心区产业和人口外溢的区域之一。确定了科技城项目的PPP投资模式后,就需要对科技