基于分形和金字塔结构的像素级预测算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:jim2y
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
像素级预测任务,包括语义分割、深度预测等任务,是计算机视觉领域的热门研究方向,被广泛应用在机器人导航、自动驾驶汽车及增强现实等实际应用中。目前,在基于卷积神经网络的方法中,用于逐像素预测的网络被编解码结构所统治。可以将编解码结构的网络分为两个部分,分别是编码器和解码器,其中编码器用于提取图像的语义信息并生成高维特征,解码器则利用编码器编码出的高维特征解码出所需的输出。由于编码器编码出的特征一般分辨率较小(典型分辨率为输入分辨率的322分之一),这限制了这一逐像素预测网络的应用。为此,跳跃连接结构被提出用于将编码器中间的含有空间细节信息的特征恢复解码器的输出尺度。注意到跳跃连接结构事实上并未生成更高层级语义特征,因此不宜将跳跃连接结构看作是编码通路。本文提出一种新的网络结构,名为分形金字塔网络,对图像进行像素级的处理。分形金字塔网络,顾名思义,其由分形结构和金字塔结构融合而成。金字塔结构为网络中的神经元提供广阔的感受野,因此提出的网络能捕获到更多全局上下文信息;将金字塔结构融入分形提供了另一种与编解码网络不同的信息编码方式。与上述编解码结构不同,输入的信息不再由编码器编码为单一的特征,而是由多条信息处理通道编码为多个单独的特征。在这一网络中,每一个节点上的特征在经过不超过设定尺度的常数倍卷积层后都可以参与生成下游的任何特征,因此网络生成的中间特征信息能得到更为充分的利用。本文在自监督单目深度估计和语义分割两个任务上对提出的分形金字塔网络进行有效性验证。在自监督单目深度估计任务中,相比现有的其它基于编解码结构的自监督单目深度估计网络,本文提出的网络具备以下优势:(1)具备更少的参数量;(2)即使没有额外数据集进行预训练,在深度估计主要指标上仍然达到了目前的先进水平;(3)在同样不利用额外数据集的公平比较下,性能大大超过基于ResNet 18主干网的编解码深度估计网络;以及(4)在处理来自视频的图像序列时,具备更好的时域一致性。除了自监督单目深度估计任务,我们还在语义分割任务上对模型进行了测试。为了同时测试模型的域泛化性能,我们将模型在GTA5数据集上训练,并直接在Cityscapes数据集上测试。实验显示相较于其它专门用于语义分割的网络,提出的网络能够取得更好的域泛化指标;定性结果也显示了分形金字塔网络能够在保持良好全局结构的情况下保留更多的细节。
其他文献
毒氟磷是我国创制的植物免疫诱导抗病毒剂,具有高效、低毒等特点,能有效防治烟草、番茄、黄瓜病毒病以及南方水稻黑条矮缩病等多种植物病害,市场前景良好。近年来国内外已有关于毒氟磷在环境体系中的残留研究,但农药在进行登记和安全性评价时,必须提供其代谢产物的相关信息,然而目前对毒氟磷在植物体内代谢的相关研究尚未完全开展。因此,研究毒氟磷在植物中的代谢规律对其安全性评价及残留定义具有重要的现实意义。根据《农作
PCDH7属于钙黏蛋白最大的亚家族PCDH家族,按照基因的分布,钙黏蛋白PCDH家族大体分为两类:簇状和非簇状PCDHs。非簇状PCDH家族又分为δ1、δ2和ε亚群。PCDH7属于δ1亚群,有保守的CM1和CM2结构域,除此之外,还具有蛋白磷酸酶-1α(PP1α)结合结构域(CM3)。研究表明PCDH7在多种肿瘤细胞中存在异常表达,并且在不同肿瘤细胞中表现着相反的功能。目前有关PCDH7影响肿瘤发
近年来,昆虫RNA干扰(RNAi)技术的研究取得了空前的发展,基于RNAi的害虫防治方法受到广泛关注。目前制约dsRNA在害虫防治中的应用的主要因素是高效低成本的dsRNA合成方法和dsRNA的安全性风险。基于此,本论文首先利用CiteSpace软件分析总结了全球昆虫RNAi的研究热点,确定了以赤拟谷盗作为研究对象,建立了大肠杆菌表达dsRNA饲喂赤拟谷盗的方法,筛选到对赤拟谷盗具有防控效果的ds
棉铃虫是棉花的主要害虫之一,检测棉铃虫虫害对于提高棉花的产量和质量具有重要意义。已有大量研究表明,植物在遭受虫害时挥发物的释放会发生变化,因此,可通过检测植物挥发物来对棉花的受虫害情况进行判断,而电子鼻是一种可分析、识别和检测大多数挥发性成分的仪器,可实现快速和无损检测,是实现植物挥发物检测的较佳手段之一。本文采用电子鼻和气质联用技术对不同受害情况的棉花释放的挥发物进行检测,研究受害棉花挥发物释放
拖拉机的生产和使用情况是农业机械化水平的重要体现。目前国内拖拉机生产企业因产品质量原因在中高端拖拉机市场缺乏竞争力,而整机制造过程质量管理水平不足制约了国产拖拉机产品向高质量发展。因此,一套科学有效的整机制造过程质量管理系统对提升拖拉机质量、增强产品竞争力有重要作用。拖拉机整机制造过程质量管理系统建立在完备的质量数据库与质量管理工具的基础上。质量数据库的构建需要采集各质量控制点产生的质量数据,但部
我国每年新增几十万胃腺癌(Stomach Adenocarcinoma,STAD)确诊病例,给公共卫生系统造成很大负担。尽管目前对于STAD治疗手段有了很大的改进,但是STAD患者预后仍然很差,缺乏有效的预后标志物。本文基于生物信息学方法构建一个结构简单的预后模型,对预后模型的机制和分子功能进行探讨,并且应用样本病例和细胞实验对分析结果进行了一定的验证。研究结果如下:(1)胃腺癌预后潜在标志物的挖
金小蜂科Pteromalidae是一类体型较小的寄生蜂,可寄生昆虫纲大多数目,极少数寄生蜘蛛,同时可寄生卵、幼虫、蛹和成虫各个虫态。金小蜂可以用于防治农林害虫,在维持生态平衡方面作用明显。线粒体基因组遵从母系遗传,基因排列较为保守,进化速率快,同时线粒体基因组长度短,因此是研究系统发育的理想分子标记。金小蜂科种类多,内部系统发育关系复杂,但目前已测定的金小蜂科线粒体基因组仅2亚科7种。因此,测序与
室内场景下的三维重建技术是计算机视觉和计算机图形学研究中的重要研究内容。随着相机传感技术的发展,RGB-D相机在测量精度,分辨率等方面有了很大进步,如何利用RGB-D相机进行室内场景下的高精度三维重建也得到了研究人员越来越多的关注。然而目前大多数基于RGB-D相机的室内场景三维重建系统往往难以完整精确地重建较大规模的室内场景,并且很少利用室内场景下的场景结构信息做特定优化。基于上述问题,本文提出了
柑橘黑点病,也称砂皮病,是一种重要的柑橘真菌性病害,严重影响柑橘的品质,给果农造成重大经济损失。黑点病的致病菌为柑橘间座壳菌(Diaporthe citri),以田间枯枝病残体上产生的分生孢子为主要侵染源;果园生产过程中产生的大量枯枝既是可成为黑点病致病菌的繁殖基质材料,也是难以处置的重要、物污染废物。寻找既可以杀灭枯枝中滋生的黑点病病原真菌又可以加快枯枝降解的生防菌,在此基础上研发出制剂和田间处
球孢白僵菌(Beauveria bassiana)是广泛用于农林害虫生物防治的经典昆虫病原真菌。分生孢子在昆虫体表的附着是病原真菌通过表皮穿透感染昆虫寄主的关键步骤。附着成功的孢子在昆虫体壁上萌发,其芽管延伸为菌丝,通过分泌体壁降解酶和菌丝顶端附着胞渗透压力的共同作用而穿透体壁侵入血腔,并利用血液营养增殖,导致寄主最终僵死。在金龟子绿僵菌(Metarhizium anisopliae)中,分生孢子