室内场景实例分割方法研究

来源 :苏州科技大学 | 被引量 : 0次 | 上传用户:jtzou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
室内场景通常构成要素复杂、目标多元,实例分割技术通过准确地识别目标并为每一个前景对象分配像素化实例掩膜,从而对室内场景进行内容解析与环境感知,在智能消防、安防视频监控和服务机器人视觉等智能建筑应用领域具有广泛的实用价值。目前,室内场景实例分割技术存在室内场景目标多尺度变化、大型目标边界分割模糊和模型复杂难以轻量化部署等问题。因此,本文在两阶段实例分割框架Mask R-CNN的基础上,从增强目标多尺度上下文信息、掩膜多阶段迭代细化和轻量化网络模型构建等角度进行改进,提高不同尺度目标识别、分割的准确性和大型目标边界掩膜的精准度,以及降低模型参数量和计算成本以便后续算法移植在端侧平台上部署,满足不同室内场景的多元化应用需求。主要研究工作如下:(1)提出了融合多尺度上下文信息的室内场景实例分割方法。多尺度上下文信息对区分不同尺度目标至关重要,而FPN通过插值和元素相加对邻层特征进行交互,未能有效挖掘不同尺度目标的上下文语义特征。因此,本文设计了邻层特征自适应融合模块优化FPN邻层特征融合方式,缓解多尺度目标间的语义混叠;其次,利用多尺度通道注意力设计了注意力特征融合模块和全局上下文模块来提取目标多尺度特征,增强了分类回归和掩膜预测分支的多尺度特征表示。实验定量结果表明,MS COCO 2017数据集上,本文算法相较于Mask R-CNN在主干网络为Res Net50/101时分别提高了2.7%和3.0%;ADE20K数据集上,以Res Net50为主干网络,在验证集上进行评估,比Mask R-CNN提高了3.4%。可视化结果显示,所提算法显著改善了中小尺度目标错检或漏检的问题,有效提升了多尺度目标在密集分布和存在遮挡情况下的掩膜分割质量。(2)提出了掩膜迭代细化的室内场景实例分割方法。由于分割网络在卷积和池化过程中输出分辨率不断下降且目标边界像素占比极低,目标边界周围的细节信息容易丢失,导致目标边界定位模糊和掩膜预测粗糙。因此,本文通过语义信息融合模块补充实例卷积和池化过程中丢失的细节信息;然后,利用边界上下文编码器区分目标前景和背景特征之间的差异性,提高边界定位性能;最后,采用掩膜多阶段细化策略,迭代使用上述两个模块来提高实例掩膜预测精度。实验定量结果表明,以Res Net50为主干网络,本文算法在MS COCO 2017和ADE20K两个数据集上分别比Mask RCNN提高了2.9%和3.8%。可视化结果显示,所提算法有效提高了不同尺度目标的边界掩膜质量,尤其是大型目标。(3)提出了轻量化的室内场景实例分割方法。两阶段实例分割算法Mask R-CNN在模型体积、计算复杂度和运行速度上均达不到在端侧平台上的部署要求,而室内场景的实际应用中有环境感知实时交互的需求。因此,引入轻量化网络Mobile Net V2替换重量级网络Res Net可以有效减少模型参数、提高运行速度,同时使用二维动态卷积改进常规卷积层,通过卷积核两个维度的注意力弥补轻量化网络特征提取和表达能力的不足;其次,提出多尺度特征增强模块并采用PANet的路径传播方式,进一步增强了不同层特征的语义和细节信息融合。MS COCO 2017和ADE20K两个数据集上的实验结果表明,所提算法在保持基线模型分割精度的基础上显著减少了计算成本并提高了推理速度,为两阶段方法在端侧平台轻量化部署提供了可能。上述三种室内场景实例分割方法提升了不同尺度目标的分割精度和大型目标的边界掩膜质量,并减少了计算成本、提高了分割效率,可以满足不同室内场景的多样化应用需求。
其他文献
时间序列是按时间刻度有序并且互相关联的数据序列,数据特征随时间具有一定的变化规律。时间序列预测已经在商业、环境、医学、工业等各个领域得到了广泛的关注。实现准确的预测对节约资源、提高效率、减少成本、优化配置等方面都具有重要的作用。时间序列预测方法是根据历史的时间序列数据、相关特征等推算未来观测值的手段。目前时间序列数据预测的方法以深度学习模型为主,虽然取得了很多研究成果,但是在时间序列数据的预处理、
学位
是自然语言处理领域中一个重要的任务。随着深度学习技术的发展,相比于短文本摘要技术,长文本摘要发展缓慢。一方面缺乏可用的大规模数据集;另一方面,当文本序列过长时会产生长距离依赖问题。针对上述问题,本文基于深度神经网络技术,开展长文本摘要建模方法研究。本文从以下四个方面对长文本自动摘要任务展开研究:(1)针对当前中文长文本数据集缺乏的问题,本文采用中文专利数据构建了一个大型的专利数据集。该数据集在关键
学位
随着新一代信息技术、大数据理论与实践的高速发展,智慧城市的范围不断扩大、范畴不断延伸、智能化的水平不断提高。智慧城市建设中地址的数字化、精细化、智能化管理成为各种政务管理、金融机构、市场应用重要基础数据,也是实现应用目标、提升应用能力的必要数据。但是,由于我国地址规划建设起步相对较晚,传统建筑地址采集方式落后且缺少统一的规范策略,造成各行各业既有的建筑地址信息数据难以准确匹配,难以给上层的地理信息
学位
长期以来,建筑工程中安全事故频繁发生所导致的人员伤亡和财产损失,受到国家和社会的广泛关注。为了防止类似事故的发生,在每次事故发生后会形成事故调查报告,通过从历史事故中总结经验教训,从而制定安全管理策略和防范措施用于预防未来的风险发生。而以往对事故的分析研究依赖于专家利用专业知识进行人工分析,这使得分析结果很容易受到人的主观影响。同时,随着事故报告数据量的不断增加,人工分析耗时耗力,已经无法满足需求
学位
目的 通过对安徽省某县级医院胆囊炎单病种付费患者住院费用的灰色关联分析,为该院有效缩短住院时间、适应支付方式改革提供对策建议。方法 收集安徽省某县级医院2016年至2019年单病种付费住院信息,分析胆囊炎患者住院数据,对住院费用结构、关联系数、关联度等进行分析。结果 该院胆囊炎患者手术麻醉费、药品费占比及关联系数较大,与次均住院费用关联度也最大,护理费构成比有小幅度上升。结论 手术麻醉费与药品费对
期刊
文本生成序列图像是一项融合计算机视觉和自然语言处理两个方向的跨模态任务,该任务通过输入的文本描述,生成符合对应语义信息的序列图像。由于文本描述能够生成多个不同的图像,因此生成语义一致且分辨率较高的图像是一个极具挑战性的任务。生成对抗网络由于自身独特的对抗机制,被广泛应用于解决文本生成图像的任务。然而生成对抗网络的模型训练难以收敛,文本生成序列图像仍然面临着生成图像的对象布局混乱、上下文信息难以提取
学位
无线传感器网络(wireless sensor network,WSN)技术的快速发展,使得其在智慧建筑中的监测应用越来越广泛,使用WSN在智慧建筑中进行监测时,传感器节点可能因为能量长时间消耗或物理损坏等原因失去原有效用,节点通信链路也可能会因为物体阻挡或数据碰撞堵塞等原因出现暂时或永久性的通信故障。因此研究网络能量低功耗与故障容错,是实现整个网络正常运行的关键问题。针对WSN内节点能量消耗过多
学位
随着人工智能、物联网和大数据技术的发展,车辆队列已成为智慧城市建设的重要推力。而智慧建筑作为智慧城市的重要组成部分,也给车辆队列的发展带来新的机遇。一方面车辆队列为解决建筑群间车辆的行驶安全、交通堵塞和资源浪费的问题做出了巨大的贡献;另一方面轮船码头的物流车辆队列也提升了港口企业整体的运营效率。在全球疫情肆虐的背景下,为减少人员间不必要的接触,提高建筑室内任务的工作效率,车辆队列为AGV仓储研究提
学位
近年来,随着人口增长和经济发展,建筑行业能耗逐年增加。过多的建筑能耗不仅加剧了能源短缺情况,还排放了大量的二氧化碳,严重阻碍国家“双碳”目标的实现。因此,建筑节能至关重要。建筑能耗预测作为建筑节能的基础,在获取控制设备的最优策略、规划能源调度及评估建筑系统运行方面起着不可替代的作用。深度强化学习(Deep Reinforcement Learning,DRL)将深度学习(Deep Learning
学位
在世界范围内,社会总能耗的40%来自建筑行业。在国内,建筑行业的能耗接近社会总能耗的20.6%。同时,建筑行业中超过50%的能耗来自暖通空调系统(Heating Ventilation and Air Conditioning,HVAC)。因此,针对HVAC开发和实施有效的节能控制技术对社会节能减排来说至关重要。目前,针对HVAC节能控制的方法主要分为基于模型的控制方法以及基于无模型的控制方法。基
学位