面向场景识别与理解的特征融合方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:xiaoxiaodeai1002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
场景理解是现代智能应用的重要基础,能够为智慧城市、自动驾驶、移动机器人等诸多应用提供场景中目标物体、语义关系、环境位置等必要的上下文信息,帮助智能系统做出更合理的决策。场景理解进一步可以分为场景分类、场景属性识别、场景解析等子任务,其任务难度不断增加,也对场景特征的表示能力、场景模型的分类判别能力提出更高要求。一方面场景图像的复杂结构和背景噪声,使类内不一致问题尤为突出;另一方面,场景类别、属性、目标的规模越来越大,已有方法的特征表示能力、分类识别与解析性能仍然不足。因此,更一般的场景理解任务仍是巨大挑战。而特征融合方法能够去除冗余和不相关信息,实现多种特征互补,使得构建性能更高和更鲁棒的场景理解模型成为可能。本论文面向场景理解三类子任务存在的问题与挑战,基于特征融合理论,分别结合深度学习模型、图学习模型及其他数学模型,研究并提出相应的分类识别算法或解析方法,主要贡献包括以下四个方面:(1)针对场景分类中的类内差异较大问题,提出自适应非负特征融合(Adap-tive Nonnegative Feature Fusion,Ada NFF)方法,提高复杂场景图像的分类性能。Ada NFF能够将非负矩阵分解、自适应特征融合和特征融合增强(Boosting)集成到端到端过程中,实现场景图像的特征学习和分类。首先,针对场景图像特征的非负特性,建立一种基于非负矩阵分解的自适应特征融合方法,来应对场景类内差异较大问题。其次,基于单特征或多特征融合结果,提出一种特征融合Boosting算法,以进一步提高图像特征的表示能力。最后,训练归一化l2范数分类器和多层感知器分类器来预测场景图像的标签。所有分类器都在场景分类基准数据集上进行验证。实验结果表明,该方法能够有效处理类内差异较大的复杂场景分类问题,并取得较好的分类性能。(2)针对较大规模的场景分类问题,进一步提出最大熵融合神经网络架构搜索(Neuro-Max Ent Fusion Architecture Search,NMFAS)方法,有效降低较大规模场景的分类错误率。NMFAS基于深度卷积神经网络模型,通过扩展神经网络特征融合操作,对已有的神经网络架构搜索技术进行改进,来实现对最优场景分类模型架构的搜索。首先,在可微架构搜索的基础上扩展搜索空间,引入更多的特征融合操作,包括最大值、卷积、乘法、三维池化等。然后,将所有的特征融合操作推广到更一般的形式,以接收更多输入流提高架构的兼容性。最后,为克服搜索空间扩展的复杂性,提出基于最大熵约束项以降低搜索成本,同时避免架构参数的过拟合。实验结果表明,该方法可以通过特征融合操作提升模型性能,并加快搜索阶段,与其他先进方法相比能够降低架构搜索成本。(3)针对场景属性识别的属性表示建模,提出基于小批量最小单纯形估计(Mini-batch Minimum Simplex Estimaiton,MMSE)的特征融合方法,加强场景属性的特征表示能力并提高场景属性识别性能。MMSE通过引入线性混合模型来构建场景属性的单纯形表示模型,将场景特征学习问题转化为最小单纯形估计问题并求解,进而实现场景图像的多属性识别。首先,基于线性混合模型进行场景图像建模,提出一种小批量最小单纯形估计算法,用于从复杂的场景图像数据中学习基于属性的场景表示。然后,提出一种两阶段多特征融合方法,来进一步改进场景属性的特征表示。最后,利用非负矩阵分解算法的快速收敛性和非负特征保持性,来提高大规模场景数据集的计算速度。场景属性识别的实验结果表明,该方法的性能优于其他几种先进的场景属性识别方法。(4)针对场景解析中的目标多尺度问题,提出自监督特征融合图卷积网络(Self-supervised Feature Fusion Graph Convolutional Network,SFGCN)模型,提高场景图像中多尺度目标的解析精度。SFGCN以图卷积网络为基础,设计并加入K级邻域图空间卷积、谱图卷积特征融合与自监督注意力、场景多领域自适应池化等模块,加强模型对局部小尺度目标的特征学习能力,实现场景图像的像素级语义标签解析。首先,模型采用层次化网格划分来构建场景图特征数据,进而以基于K级邻域的空间图卷积运算构建网络模型实现全局特征学习。然后,针对局部语义标签难以解析问题,提出基于自监督特征融合的图注意力模块,通过结合谱图卷积和注意力机制为局部模型权重训练增加自监督信息,以加强局部特征学习。最后,为保持多领域场景图像的领域内一致性,提出多领域自适应的场景图池化方法,改善场景图像因自身差异导致的类内不一致问题。在多个公开数据集上的实验结果表明,该方法能够有效实现场景多尺度目标的语义解析并且优于其他几种先进方法。
其他文献
中脉是密宗修行最重要的生命脉,黄道为道家内丹究竟成就之要道。本文对陈健民先生所著《中黄督脊辨》就中脉与黄道关系的辨析,从道家内丹学角度提出了不同看法。通过对中脉与黄道的具体位置、密宗与内丹学所持见地在因位和果位上的比较,得出了内丹学中的黄道就是密宗之中脉的结论;并指出黄道(中脉)是人人具有的,通过对生命规律的把握可以使之开显出来。
期刊
阅读理解题型是高考英语考查学生阅读理解能力的一种重要方式,也是英语学科核心素养的集中体现。新高考英语阅读理解部分分值进一步提高,足以证明阅读理解在高考中占举足轻重的地位。以2020—2022年高考英语全国卷为研究素材,依据《课程标准》对高考命题全面体现学科核心素养的规定和建议,分析并探讨高考英语阅读理解题型典型错因及应对策略,旨在提出相关英语阅读教学建议,促成学生英语学科核心素养发展,从而提高阅读
期刊
地球自转参数(ERP)是联系地心天球参考系(GCRS)与国际地球参考系(ITRS)的转换参数,是航天器精密定轨、深空探测器跟踪测控、空间大地测量、空间基准建立和维持以及天文地球动力学研究等领域的必要数据。随着近年来我国航天和空间工程、深空探测等领域的快速发展,对ERP安全性、可靠性的要求越来越高。目前我国主要采用国际地球自转与参考系服务(IERS)提供的ERP数据,尚没有系统地建立自主ERP测量和
学位
光纤中的受激布里渊散射(stimulated Brillouin scattering,SBS)由于其丰富的特性及广阔的应用前景成为了当前的研究热点。SBS是一种重要的声光耦合非线性效应,已广泛地应用于分布式光纤传感、光纤放大器和激光器、慢光、光学频率转换、射频信号处理等多个重要领域。普通单模光纤(single-mode fiber,SMF)中SBS的理论及应用已经被广泛报道。随着模分复用技术的发
学位
在地质条件差的水利水电工程坝基、边坡、洞室边墙及顶拱等部位,为提高建筑物的抗裂能力和防裂能力,经常设置锚索,故水利水电工程锚索属于常见项目。锚索项目具有工期短、造价低、布置方面、施工干扰小、施工技术易掌握等特点。锚索施工包括造孔(钻孔、固结、扩孔)、编索(除锈、编索)、吊装(运输、吊装)、放束、张拉(张拉、安装等)、封孔灌浆等施工步骤。在封孔灌浆施工环节,因各种原因,常导致注浆量远超过投标量,产生
期刊
背景急性肺损伤(acute lung injury,ALI)/急性呼吸窘迫综合征(acute respiratory distress syndrome,ARDS)是一种严重的肺部炎症性疾病,有着发病率高,治愈率低的特点。炎症失控导致的炎症风暴是ALI/ARDS发生发展的中心环节,炎症细胞中的巨噬细胞在其中发挥着重要的作用。肺部巨噬细胞是肺免疫系统中最关键的免疫细胞之一。与经典的炎症反应有所不同,
学位
煤化工废水是一类成分复杂、氮污染物浓度高且可生化性差的典型有毒有害难处理工业废水。随着煤化工行业的准入条件及排放标准(尤其是对总氮浓度的要求)日渐严格,其废水处理的难度也越来越大。而生物工艺因具有成本低优点,成为煤化工废水处理的主要技术。但应用较广的缺氧/好氧/好氧生物脱氮工艺在实际工程中显示出了其弊端,急需开发高效、低成本的新型水处理工艺并进行工程应用,从根本上解决企业排放不达标、面临停产整改的
学位
数学计算是小学数学的基础内容之一,如何提升学生的计算能力已成为数学教师需重点研究的内容。结构化视域下的小学数学计算教学策略,是指将小学数学计算的内容和方法按照其内在的结构和逻辑关系进行分析和组织,从而帮助学生更好地理解数学计算道理和方法,培养数学核心素养。基于此,教师教学时应在结构化视域下,运用科学的教学方法,帮助学生建立结构化的数学思维模式,提高学生的计算能力和数学素养。
期刊
传统宗教园林是中国园林重要的组成部分,研究基于风景园林学,以泰山肥城地区为研究样本,以历史源流、空间分布为主线,系统分析了肥城地区传统宗教园林的发展脉络、分布特点、单体以及整体特征。以此为根基提炼了儒释道思想在传统宗教园林中的表达方式以及坛庙、佛寺、道观各自特点,为中国传统宗教园林增添活力,也为城乡居民记录可以感知传统文化的公共空间。通过整理研究现状发现,以往传统宗教园林研究集中于寺观园林,缺乏与
学位
高速动车组具有高效、高速、安全、准时以及运输容量大的特点,不仅方便了人民的生活,也带动了国民经济的发展。牵引变流器作为动车组的关键组成部分,由于采用牵引网单相供电,输入功率中包含交流分量,将会导致内部交直流系统相互耦合。传统解决方案是采用LC二次谐振支路来解耦交流功率,然而这种无源硬件解耦方案不仅降低了牵引变流器的功率密度,还会因谐振解耦电容参数变化导致解耦性能下降。因此,本文针对动车组牵引变流器
学位