面向样本扩充的新型风格迁移网络研究

来源 :河南大学 | 被引量 : 0次 | 上传用户:nbwdwby
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机视觉领域的飞速发展,语义分割技术在工业生产中发挥着越来越重要的作用,同时也广泛应用于日常生活中的各个领域。语义分割技术为企业提高生产效率、实现工业生产智能化以在市场竞争中取得更高竞争力提供了可能。然而,语义分割网络应用广泛的同时也面临着一些较难解决的问题。全监督语义分割网络在训练时需要手工标注与样本相对应的标签,带来了高昂的的人力与时间成本,严重制约了语义分割网络的发展与应用。因此,减少手工标注成本的同时提升语义分割效果对语义分割网络的快速布署和应用推广具有重要意义。针对特定工业场景中的石墨电极钢印字符分割与自动驾驶技术中的城市街景分割时出现的标签制作困难、人工标注费时费力等问题,本文提出一种面向样本扩充的新型风格迁移网络Cycle GAN-AD。该网络从数据样本角度出发,减少人工标注的同时提升语义分割精度,对于未来语义分割网络的广泛应用具有重要意义。从样本扩充的角度看,可将风格迁移得到的自带标签的模拟图片与真实图片一起构造数据集,改善全监督语义分割网络的分割效果,即使在仅具备少量真实图片标签情况下,利用模拟图片风格迁移生成的图片进行训练也能保证语义分割的精度;从无监督语义分割的角度看,可将风格迁移得到的自带标签的模拟图片单独构造数据集,实现了无监督语义分割。现将主要开展的研究工作简述如下:(1)提出了一种基于图像风格迁移的样本扩充方法。将自带标签的计算机建模图像作为源域数据,摄像机采集的真实图像作为目标域数据。通过循环式生成对抗网络的风格迁移训练,将计算机建模图像风格迁移为逼近真实图像分布的模拟图像。具有标签的模拟图像可作为全监督语义分割网络的训练样本,实现了样本扩充。(2)实现了一种改进的风格迁移网络Cycle GAN-AD。以Cycle GAN为基础,在生成器中添加了通道注意力机制,通道注意力机制主要由最大池化层、平均池化层与全卷积网络层构成,网络训练过程中通过提取图片中的有效信息,提升了风格迁移结果。使用密集连接卷积网络Dense Net代替Cycle GAN中的残差网络Res Net。Dense Net中,每一层都由前面几层相加构成,网络层之间连接更为紧密,保证原始图片的细节不因卷积网络层太深而被破坏。改进判别器为马尔可夫判别器,提升判别器的判别能力。分别在马迁移成为斑马、模拟样本迁移成为石墨电极、GTA5游戏图像迁移成为城市街景三组数据集中进行实验。验证改进网络生成图像质量优于Cycle GAN。(3)在石墨电极与城市街景数据集中进行语义分割实验。选用U-Net与Deep Lab v3+作为语义分割网络。模拟图像风格迁移生成图像可单独作为语义分割数据集进行实验,也可以与真实样本数据集一同作为训练集实现样本扩充实验。真实图像测试集进行测试,分析风格迁移生成图像对语义分割结果的影响。实验结果表明,采用Cycle GAN-AD网络生成图像进行样本扩充后,其分割效果得到显著提升,石墨电极钢印字符分割的MIo U值最高升至82.60,城市街景分割的MIo U增至46.90。可见,本课题提出的样本扩充方法有希望在显著减少人工标注工作量的同时,获得高质量的训练样本,更有利于将语义分割等算法推广应用于工业生产、生活过程中,提升效率。
其他文献
二维过渡金属硫属化合物(Transition Metal Dichalcogenides,TMDCs)是继石墨烯之后兴起的一类新型范德华层状材料。二维碲化亚铜(Cu2Te)是IB族元素硫属化合物的重要成员之一,具有丰富独特的晶体结构、高导电性和化学稳定性等优点,在热电、绿色能源、分子光谱分析等领域有着广阔的应用前景。目前二维Cu2Te材料的制备主要是通过分子束外延法、磁控溅射法和液相合成法实现,所
学位
近些年来,香菇产量的不断增长以及对香菇产业技术需求的不断增加对现代香菇食品加工行业提出越来越高的要求。自动化剪柄剪根可以有效缩短香菇食品加工的前期准备时间,减少香菇贮藏时间从而为消费者提供更好的食用口感。针对剪柄剪根生产线上的香菇姿态一致问题,本文提出了使用气流排列香菇的新方法,可以实现香菇菌柄朝向一致的要求,以提高剪柄剪根的工作效率。论文将围绕气流排列香菇装置的设计、香菇的动力学建模、动力学模型
学位
使用有机电解液的锂离子电池引发的安全事故是一个亟待解决的问题。科研人员提出的全固态电池被认为是解决锂离子电池安全隐患的理想方案。全固态电池的整个体系均是由阻燃性的固体材料组成,具有更高的安全性能。但是与常规液态锂电池相比,全固态锂电池的电化学性能和界面问题等仍尚未达到可以商业化标准。而作为液态有机电解质的有效替代品,固态电解质是下一代高性能储能装置的关键材料。因此,对固态电解质的研究与开发是重要研
学位
当光被束缚在纳米尺度时,将表现出高度的波长压缩和局域场增强效应。利用具有相反符号介电常数的介质界面可以产生和维持混合光物质模式即极化激元。二维范德华材料可支持准粒子-半光和半物质激发,产生范德华极化激元,如石墨烯(Gr)表面等离激元,六方氮化硼(hBN)双曲声子极化激元,过渡金属硫族化合物激子极化激元等。这类范德华极化激元具有低损耗、长寿命、强光场压缩等优异特性,是实现在纳米尺度上对光的操控的重要
学位
心智模型是个体对外部世界的内在表征,它反映了个体对事物或现象的理解,使个体能够进行预测和推断,从而做出决策并控制执行。在实际学习过程中,学生对学过的知识概念都有一定的理解,且能够结合已有信息解决相关问题。但由于知识经验和教学环境的不同,学生内化这些知识概念的能力存在着差异,由此会构建出不同的心智模型。这些模型可能是科学的,也可能存在着缺陷。因此研究学生的心智模型,有助于了解学生内隐的一些心理机制和
学位
由于当今世界能源短缺与环境污染问题的不断加剧,寻找绿色可再生能源问题引起了人们广泛的关注。热电材料可利用固体中载流子和声子的输运实现热能与电能的直接相互转换,是一种新型的绿色可再生能源转换材料。热电器件具有无噪音、无污染、可靠性高和使用寿命长等优点,在汽车尾气废热、工业余热和太阳能发电以及制冷等领域具有广泛的应用前景。然而目前热电器件较低的转换效率限制了热电技术只在航空航天和军事等领域使用。热电材
学位
结温是影响高压大功率电力电子器件性能及可靠性的关键因素,对于结构上具有密闭整体性的大功率IGBT器件,其内部由多个芯片构成,因而从外界难以获取内部芯片的结温分布特征,该特征可对器件剩余寿命进行有效评估,再加上器件内部物理场的强耦合作用,使得IGBT器件的结温准确测量极其困难。本文针对电网柔性直流换流站中因IGBT组件发热升温而导致的热失效问题,设计了基于光纤光栅传感技术的温度在线监测系统并进行封装
学位
图像采集设备不仅广泛应用在生产、生活领域,极大的便利了人们的日常生活,而且在安防监控等领域的使用也为人民群众的财产安全提供了有力的保障。清晰的图像可以传递丰富的信息,是当今社会传递信息的重要载体之一。但是户外图像采集设备收集的图像的质量容易受到天气状况的影响,天气晴朗时获取的图像清晰,但在恶劣天气下(如雾、霾、沙尘等),图像采集设备收集到的图像容易产生颜色偏灰白、对比度下降、细节信息丢失等质量下降
学位
局域表面等离子体共振(LSPR)效应因其对光独特的响应特性受到科学家们的青睐,该效应在很多领域内都有潜在的发展前景,例如:光催化、改善传感器灵敏度、生物检测以及提高太阳能电池效率等。最近,人们对半导体纳米晶的LSPR效应越发关注,因为贵金属(金,银等)的LSPR吸收一般在可见光区,而半导体纳米晶的LSPR吸收峰主要在近红外区,为等离子体在近红外区的光学应用指引了方向。尽管目前人们对半导体纳米晶LS
学位
化石能源的消耗导致全球气候变暖和能源短缺。因此,世界各国都在积极开展能源革命,努力摆脱对化石能源的依赖。氢能具有绿色无碳、能量密度高、热值高和可再生等特点,因而受到了科研人员广泛的关注和研究。光催化技术因能利用太阳能产生氢能或有效降解环境污染物而备受关注,制备高效、稳定、经济的催化剂是光催化领域的一大挑战。钙钛矿氧化物因其丰富的元素组成和电子结构引起人们的广泛兴趣。其中,SrTiO3具有典型的钙钛
学位