基于卷积神经网络的城市街景图像语义分割研究

来源 :山东工商学院 | 被引量 : 0次 | 上传用户:sweetacid
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像语义分割是街道场景理解中一项基础且具有挑战性的视觉感知任务,其目的是对输入图像的每个像素点进行分类,将属于同一类别的像素点划分为一个区域,并输出带有语义信息的标签。感知街道场景信息对于自动驾驶车辆做出正确的判断和规划至关重要,因此语义分割作为场景理解的关键技术成为了研究热点。近年来,卷积神经网络的发展给语义分割技术带来了新契机,语义分割技术在医疗诊断、视频监控等领域得到了广泛应用,但是还存在一些问题亟待解决:语义分割网络在提取特征增大感受野的同时丢失了大量的空间细节信息,需要充分利用特征图的细节信息来提高语义分割的精度;现阶段大多数语义分割算法追求较高的精度,无法满足实时性需求,需要在保证精度的前提下,提高模型的推理速度,满足实时场景下的应用。本文将从分割精度和模型推理速度两个方面展开研究,具体研究内容如下:(1)针对特征提取过程中无法充分提取和利用细节特征,导致细节信息丢失和语义分割不连续问题,提出了一种基于坐标注意力和条形池化的语义分割模型。该模型以Deep Labv3+作为基网络,在编码器中,为了增强特征提取能力,在主干网络Res Net中嵌入坐标注意力模块。为了捕获具有长距离依赖的多尺度上下文信息,设计了条形池化和空洞卷积并行模块。在解码器中,利用语义聚合模块将空间位置信息和语义信息进行跨层特征融合,从而获得更全面的特征信息,充分利用图像原始特征来提升语义分割精度。在语义聚合模块中,提出了特征融合模块为拼接后的特征分配权重。在Cityscapes和Camvid数据集上进行了验证。实验表明,所提方法有效地解决了街景语义分割中的小物体漏分割、边缘分割模糊等问题,在Cityscapes和Camvid数据集上平均交并比分别达到了77.2%和70.2%。(2)为了满足语义分割的准确性和实时性需求,提出一种基于金字塔池化和校正融合的实时语义分割模型。现有的实时语义分割方法多采用特征融合来提高分割精度,但这些方法没有充分利用不同分辨率的特征,同时网络的感受野也相对受限。本文首先采用轻量级的残差网络Res Net18进行特征提取;其次,为了增强高级语义信息表示,将改进的金字塔池化模块与特征提取网络相结合。在解码中,设计了一个特征校正融合模块,用于在不同层次特征融合前减少冗余信息。先对不同层次的特征消除噪声,然后逐层与空间特征信息丰富的浅层特征进行融合,以解决细节信息丢失的问题。最后,采用基于难例挖掘的交叉熵损失函数解决样本不均衡的问题。在公开街景数据集Cityscapes上对模型进行验证。实验表明,所提方法以71帧/秒的前向推理速度取得了76.15%的平均交并比,在减少模型参数量的同时有效地平衡了分割精度和推理速度。
其他文献
目的 探讨多聚胞嘧啶结合蛋白(PCBP)3过表达对结直肠癌(CRC)细胞增殖和迁移的影响。方法 收集2022年5至6月在嘉兴市第一医院行CRC切除术患者的CRC组织及癌旁正常组织标本各10份,比较CRC组织与癌旁正常组织中PCBP3 mRNA及蛋白表达水平。取人CRC细胞系HCT116、HT29,使用含有PCBP3 CDS区序列的过表达质粒分别转染HCT116和HT29细胞(设为HCT116过表达
期刊
目的 研究Lin28过表达通过哺乳动物雷帕霉素靶蛋白(mTOR)信号通路对人牙髓干细胞(hDPSCs)增殖和成骨分化的影响。方法 通过慢病毒介导稳定转染Lin28基因到hDPSCs中,qRT-PCR检测Lin28相对表达量。CCK-8法检测Lin28过表达对细胞增殖活性的影响;qRT-PCR法检测成骨相关基因碱性磷酸酶(ALP)、骨桥素(OPN)和骨钙素(OCN)的mRNA相对表达水平;Weste
期刊
目的:探讨过表达叉头盒F1(FOXF1)对肝癌细胞增殖、周期和凋亡的影响,并初步探究其分子机制。方法:选取肝癌细胞(MHCC-97H和Huh7细胞)为实验细胞,分别设立vector组(转染空白载体)和ov-FOXF1组(转染FOXF1过表达载体)。采用实时荧光定量PCR(RT-qPCR)和Western bolt检测转染后FOXF1 mRNA及蛋白表达。采用MTT法检测肝癌细胞增殖。采用流式细胞术
期刊
肾癌是泌尿系统常见的恶性肿瘤.趋化素样因子1(chemokine-like factor 1, CKLF1)在多种恶性肿瘤中呈高表达,本研究旨在探讨CKLF1在肾癌细胞ACHN中过表达后,肾癌细胞ACHN增殖、迁移和侵袭能力的变化及其发生机制.利用4D核转染技术将实验组和对照组质粒分别转染肾癌ACHN细胞,实现该因子在肾癌细胞中的过表达.显微镜下,通过观察绿色荧光蛋白在视野细胞中的表达比例判定转染
期刊
目的:探讨完全腹腔镜下膀胱癌根治加尿流改道术的安全性及有效性。方法:回顾性分析我院2019年10月-2022年2月收治的21例膀胱癌患者行完全腹腔镜下膀胱癌根治+回肠通道术(n=13)和原位回肠新膀胱术(n=8)的临床资料,对围术期资料、疗效及术后并发症进行对比分析。结果:21例患者手术均顺利完成,无中转开放,总体手术时间(440.1±60.2) min,术中出血量(112.0±36.0) mL,
期刊
目的 探索SOX1过表达对食管癌细胞增殖及凋亡的作用及其机制。方法 构建SOX1过表达细胞株,检测SOX1 mRNA和蛋白表达,CCK-8检测细胞增殖,细胞划痕及结晶紫染色检测细胞的迁移及克隆形成能力,Hochest染色实验检测细胞凋亡情况,Western blotting检测GSK-3β及Wnt/β-catenin通路相关蛋白表达水平。结果 SOX1过表达组mRNA显著高于对照组(P<0.01)
期刊
目的 建立过表达连接子蛋白40(Cx40)的H9c2心肌细胞稳定株,初步探讨慢病毒载体介导的Cx40蛋白过表达对H9c2细胞增殖的影响及其相关机制。方法 采用实时定量PCR从H9c2细胞株扩增Cx40基因片段,与慢病毒载体质粒pLVX-IRES-Puro连接,获得重组pLVX-Flag-Cx40表达载体。通过与包装质粒共转染人胚肾HEK293T细胞,获得携带Flag-Cx40的重组慢病毒颗粒。感染
期刊
轨道交通站域作为城市中的高价值空间,对步行活动的支持和鼓励程度深刻影响着其效用的发挥。因此,如何从行人的视角进行大规模且精细化的轨道交通站域的可步行性评价成为城市研究的重要议题。文章利用街景图像数据,结合轨道交通站域空间特点,从步行安全性、便捷性、舒适性和视觉趣味性四个维度,构建了行人视角的可步行性指标评价体系,并通过层次分析法(AHP)对指标赋权,最终提出了客观且易操作的轨道交通站域可步行性评价
期刊
目的:探究肿瘤坏死因子-α诱导蛋白8样因子2(TIPE2)是否通过抑制Wnt/β-catenin信号通路影响胃癌(GC)细胞增殖、迁移和上皮-间质转化(EMT)。方法:qRT-PCR和Western blot检测不同细胞中TIPE2 mRNA和蛋白表达。体外培养MKN45细胞,依次分为:Control组(不做任何处理)、AD-EV组(转染AD-EV)、AD-TIPE2组(转染AD-TIPE2)、L
期刊
【目的】探究核糖体蛋白L36A(ribosomal protein L36A,RPL36A)基因对PK15细胞增殖过程的影响,为解析马身猪和大白猪生长速度差异的生理机制奠定基础。【方法】采用脂质体法将RPL36A基因干扰和过表达载体转染至PK15细胞中,通过实时荧光定量PCR和Western blotting技术检测RPL36A基因表达效率及细胞增殖标志基因(PCNA、Ki67、Cyclin B、
期刊