基于单样本学习的数字抠图算法研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:nextronnpf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为一项经典的图像处理技术,数字抠图(Digital Matting)广泛应用于电视以及电影拍摄中。数字抠图的研究目标是完美的将图像中前景和背景分离开,随后可以为图像更换虚拟背景等一系列操作。由于抠图问题的欠约束性,数字抠图算法一般需要用户手绘一些区域(绝对前景、绝对背景以及未知区域),为数字抠图提供更多的资讯信息。这种资讯信息包括精确绘制的三分图(Trimap)以及涂鸦生成的草图(Scribble)两种。然而,对每一张图像绘制准确的三分图耗费大量的人力成本,草图所提供资讯信息太少,鲁棒性差,导致抠图精度很低。单样本学习(One-shot Learning)模拟人类快速学习能力,近几年受到研究人员的广泛关注。单样本学习实现了在仅有一个标注样本的前提下识别一个未知语义类,无需大量标记数据进行重新训练,大幅降低了标注工作量。如今单样本学习技术已经广泛应用于图像分类、语义分割领域。受此启发,本文拓展单样本学习方法应用于数字抠图,同时解决了绘制三分图耗时、费力,以及绘制草图鲁棒性差的问题。具体来讲,本文提出的模型首先通过用户提供交互信息(几次点击),产生粗略的前景、背景分割结果,并采用条件随机场对分割结果进行优化,随后通过膨胀、消融的方法对优化后的分割结果进行处理产生类似于专业人员手绘的三分图,最后本文设计了基于深度神经网络的抠图模型用于生成抠图结果。值得注意的是,本文提出的基于单样本学习模型对于未知语义类具有很好的泛化能力,这意味着对于相同未知语义类中的所有图像,我们仅需要用户标注其中任意一张图像,就可以生成此语义类中所有图像的抠图结果。本文的主要工作包括以下四个方面:(1)本文构建了基于单样本学习的前景、背景分割模型。首先,本文设计了条件分支用于结合图像与用户提供的咨询信息(前景点击、背景点击)产生语义表征(前景表征、背景表征)。其次,本文设计了分割分支用于结合语义表征和分割图像产生分割二分类前景、背景分割结果。(2)针对产生的分割结果不精确问题,本文通过条件随机场算法对分割结果进一步优化,随后通过膨胀、消融的方法处理分割结果生成三分图。(3)本文采用深度编码-解码网络对抠图结果进行预测,提高了抠图精度并且加快了运行速度。(4)为了验证本文提出算法的可行性、运行效率以及精确度,本文进行了四部分实验,包括生成三分图精确度对比,算法运行效率对比,模型指导能力验证以及模型的特征传递能力验证。并且对于实验结果进行分析。本文的创新点在于以下两个方面:(1)本文提出的基于单样本学习的数字抠图方法,首次将单样本学习技术与数字抠图技术相结合。本方法通过用户提供的几次点击生成三分图,无需用户手绘,降低了用户交互工作量。并且算法具有更好的鲁棒性,能够取得相对高的抠图精度。(2)本文提出的模型可以有效的提取未知语义类的表征,并利用此语义表征作为指导生成三分图。这意味着对于任意未知语义类中的所有图片,我们仅需标注其中一张,就可以得到此语义类中所有图像的三分图。进一步降低了用户交互工作量。
其他文献
为了解决火电厂灰库卸料层设备布置困难的问题,根据卸料层设备布置的基本原则,提出一种新的卸料设备的布置方式,即保持3个卸料设备的出料口布置在同一条直线的基础上,将干灰
为研究白炭黑的制备工艺,以石英原矿、浓硫酸、Na2CO3和NaOH为原料,利用煅烧-淬冷-硫酸酸洗工艺制备质量分数大于99%的高纯石英粉,并利用煅烧-沉淀法制备非晶白炭黑。采用X射线荧
采用传统固相烧结法制备不同组分的PbTiO3-CoFe2O4磁电复合材料,采用X射线衍射(XRD)和扫描电子显微镜(SEM)等手段进行分析袁征。结果表明:PbTiO3-CoFe2O4复合材料的复合形式为0-3型
研究一种制备高品质纳米白炭黑的方法,以蛇纹石石棉为原料,经过酸蚀处理后,制备纳米纤维白炭黑。采用X射线衍射和扫描电镜分析不同浓度下酸蚀的产物,研究不同酸浓度对产物的成分
为有效利用长江沿岸低品位石英砂来开.发研制高性能的保温隔热砖,利用球磨法研究球磨时间对低品位石英砂粉体性能的影响。结果表明:随着球磨时间的延长,石英砂的平均粒径逐渐减小
在当今的通信领域 ,光通信是和IP技术并列的两大热点技术之一 ,其发展的速度和广度都超出以往。为了进一步介绍光网络中各种技术的最新发展情况 ,提供应用的经验和组网案例 ,
主要介绍了SP30iEx-LMCC综合业务平台在SCDMA系统中的应用,以及它与其他核心网设备配合提供的丰富的业务和完善的功能.
Avago Technologies(安华高科技)宣布推出IrSimple协议软件。这是个新型的IrDA(红外线数据协会)全球标准。可帮助在摄像手机、数码相机和其他移动设备内部整合IrDA红外线通信硬件
在农业生产过程中,果实采摘是其中重要的一个环节。农业智能采摘机器人的研发与应用,可以解决我国目前劳动力短缺的问题,大大缩减生产成本,提高市场竞争力。虽然,现在工业机