基于多标签学习的图像语义自动标注研究

来源 :复旦大学 | 被引量 : 20次 | 上传用户:DSCUMT
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体数字化技术的发展和推广、存储成本的降低、网络传输带宽的增长,各种多媒体数据如图像、视频等飞速膨胀逐渐成为信息的主流,并对人们的生活和社会发展产生重要的影响。“语义清晰”是大规模多媒体数据管理的重要前提,因此通过信息技术自动获取多媒体数据对象的语义内容的研究具有十分重要的理论与实践意义,引起了学术界与工业界的高度关注。图像是视频的基础,在多媒体数据管理中占有重要的地位,因此图像语义的自动标注技术是当前相关领域的研究热点。图像语义的自动标注本质上是一个“学习”问题,即根据图像的视觉内容推导出图像的语义标签。因此,各种机器学习、统计推理技术都应用于图像标注的研究中,并在不断的深化和推进。然而,由于图像标注中“语义鸿沟”以及“多标签”问题的影响,现有方法的标注性能仍有待进一步提高。本文围绕图像标注的多标签特点,集中利用多标签相关性,对多标签带来的数据重叠、数据不平衡等问题以及Web图像标注开展研究,在基于生成模型的多标签传递、生成模型与判别分类方法相结合的图像标注、基于噪声训练集的Web图像标注等方面进行了新的尝试,提出多个具有较好性能的图像标注方法。本文主要研究内容如下:1.提出扩展生成模型的图像标注方法:为了有效利用多标签之间的相关性,将原始生成模型扩展为对多标签同时标注,并提出启发式迭代算法进行求解。在该方法中,提出主题-图像-区域多粒度层次特征估计模型,对语义关键词之间的相关性进行分析,并使两者在提出的迭代算法中相互结合共同改进标注性能。实验证明所提基于扩展生成模型的图像标注方法较传统生成模型在标注准确度上有明显改进。2.提出基于可判别超平面树的图像标注方法:基于待标注图像的高视觉生成领域构造局部隐藏主题层次结构,并在其基础上构造可判别超平面树。在引入分类器的判别能力的同时,保留了基于概率模型的图像语义标注的优点,实现将生成模型与判别分类方法相结合改进图像标注。实验证明所提基于可判别超平面树的图像标注方法较之传统生成模型和判别分类模型在标注准确度上有明显提高。3.提出基于局部多标签分类的图像标注方法:给出将生成模型与判别分类技术相结合用于图像标注的另一个解决思路,更深层次的考虑并区分特征相似所隐含的不同语义模式,并对多标签语义特征空间及特征空间的分类边界同时进行考虑,以使生成的隐藏主题同时获得较大的语义和视觉可分性。实验证明所提基于局部多标签分类的图像标注方法较之传统生成模型和判别分类模型在标注准确度上有明显提高。4.提出基于噪声训练集的Web图像标注方法:本文给出一个完整的Web图像标注解决方案。首先提出一个自动生成Web图像标注训练集的“轻量级”方法,进而针对训练集中的噪声数据,设计基于混合模型局部Fisher判别分析的Web图像标注方法。实验表明所提标注方法在存在噪声数据的情况下较传统标注方法获得较好的标注效果。
其他文献
目的研究复合磷酸酯酶对高脂血症性脂肪肝的防治作用。方法连续灌胃脂肪乳剂30夭,复制犬鼠高脂血症性脂肪肝模型,造模同时给药;测定肝脏中TC、TG、MDA含量及SOD活性,观察大鼠肝组
根据该规划,到2020年,我国民航运输机场总数将达到244个,新增机场97个(以2006年为基数),形成北方、华东、中南、西南、西北5大区域机场群。据初步匡算,完成上述规划,需要投资4500亿元
基于多体系统理论,建立了数控加工中心热误差模型,并提出其误差补偿方法.以三坐标MAKINO加工中心为例,建立了具体模型并进行参数辨识.优选了4个测温点,实时测量其温度,作为误
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
今敏是极具个性的动画导演,其作品基于现实的成人向主题,在动画界树立起别具一格的旗帜。都说“故事是一部动画的灵魂”,今天笔者就通过对其生前作品的叙事主题进行分析,从主
摘要:探讨了基于团队学习的计算机类专业核心课程教学模式。在简要概述了团队学习方法和计算机专业特点的基础上,分别从关键机制以及实施过程对计算机类专业核心课程的团队学习教学模式进行了论述,在此基础上探讨其对计算机类专业核心课程的启示。  关键词:团队学习;教学模式;计算机;核心课程  中图分类号:G642.0 文献标志码:A 文章编号:1674-9324(2019)39-0184-02   一、引
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
针对大型轮式装载机工作装置受力特点,在Pro/E环境下建立了其三维参数化零件模型和装配模型,并采用高阶四面体单元对每个零件进行网格划分,然后在ANSYS环境下采用APDL编制了参数
通过对大城市基层群众体育组织的调查,研究在市场经济条件下如何发挥他们的作用,主要对运行机制(群众组织的人员配置、资源配置、筹资机制、信息联络机制、监督评估机制)等问
;农机事故、农机安全问题日益突出,通过分析影响农机安全的相关因素,要深入贯彻"安全第一,预防为主,综合治理"的基本方针,必须转化为具体的对策和措施,并以各项具体管理工作为