基于深度视觉语义学习的绘图API推荐算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:langcy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图形作为易于解释和引人注目的数据表示形式被广泛应用于日常工作中,现有的编程语言几乎都提供了大量的绘图API以满足用户的绘图需求。基于图表图像的绘图API推荐(Plot2API)是一个尚未被探索但具有重要意义的研究课题,其在软件工程和数据可视化的背景下有着极其广泛的应用价值,如对新手进行绘图指导、不同绘图API相关性分析、以及图像的绘制代码转换等。Plot2API是一项非常具有挑战性的任务,因为每张图像通常由多个绘图API绘制,并且由于参数设置的不同,由同一API绘制的图形在外观上也可能存在着极大的差异。此外,绘图API数据集中也存在严重的数据不平衡问题。这些都给绘图API的推荐任务带来了不利影响。本文主要利用卷积神经网络和语义先验知识解决绘图API的推荐问题,并针对该问题中的数据不平衡现象进行深入研究。因为当前各编程语言所提供的绘图API数量一定,且图像由多个API共同绘制。因此,本文将绘图API推荐任务视为多标签图像分类问题。为了解决Plot2API问题,更好的推荐绘图API,本文展开以下研究:(1)本文首次正式对Plot2API任务展开系统的研究工作,并提出了一个新的深度多任务学习方法,将Plot2API问题转换为基于语义解析的多标签图像分类问题。该方法利用卷积神经网络提取图像的视觉特征,同时设计了一个语义解析模块以标签语义信息为引导辅助模型学习图像视觉特征,消除可能混淆模型进行API推荐的形状几何信息。此外,本文还引入了数据增强技术缓解数据集中的绘图API类别不平衡问题,进一步提升模型的推荐性能。(2)针对Plot2API数据集中类别不平衡导致的模型过拟合问题,本文提出了基于形状迁移学习的不平衡学习策略。该策略利用图像的类层次结构和语义关系信息引导神经网络学习图像的几何形状特征,从而能够学习到更多可迁移的视觉特征。此外,通过收集其他编程语言中具有高度语义相似性的绘图API类别进行样本扩充,以缓解类间不平衡。为了缓解训练过程中正负样本之间的不平衡问题,提出了一个新的多标签分类损失函数。并在两个数据集上进行了大量实验,证明了该策略的有效性。
其他文献
肺癌是全世界发病率和死亡率最高的癌症之一。在利用计算机对肺癌进行智能诊断的过程中,肺结节的检测、分割和分类都是不可或缺的先后步骤。近年来,卷积神经网络算法在计算机视觉领域取得了突破性成就,同时在医学影像智能诊断任务上获得了优异的成绩。二维卷积神经网络可以有效挖掘肺结节平面的特征信息,却忽视了CT影像数据中肺结节三维空间中的上下文信息。针对以上问题,本文的研究方法基于三维卷积神经网络可以充分利用CT
学位
随着移动设备和人工智能应用数量的爆炸性增长,人们的生活已经与移动多媒体技术变得密不可分。其中,语音输入因其便利性,在日常社交中变得越来越重要。因此网络中也随之出现了大量基于深度学习的自动语音分析(Automatic Speech Analysis,ASA)任务,由于计算和存储资源有限,移动设备逐渐无法处理用户产生的这些计算密集型任务,通常会寻求云计算的帮助。然而,这些ASA任务通常具有时延敏感性,
学位
人工智能,近年来受到广泛的研究关注,并且在众多领域都得到实际运用。计算机视觉作为人工智能研究的一个子领域,目的在于实现计算机对人类智能处理视觉信息的模拟,以实现对于海量视频数据的高效智能处理。人作为社会活动中的主体大量出现在视频数据中,因此对人类行为的理解成为了视频分析技术的研究热点之一。由于人类行为复杂多变,细粒度地对这些行为进行研究,可以引导识别算法对其产生更鲁棒的理解,从而更好地运用于实际。
学位
近年来,随着各行各业数据平台的建设,大数据驱动的机器学习技术推动现实社会逐步走向信息化和智能化,如语音识别、路径导航、人脸识别等。随着人工智能的应用领域的不断扩宽,深度学习技术逐渐发展和完善,传统数据集中式的机器学习引发社会对个人隐私数据安全的担忧。由于用户隐私数据泄露以及行业竞争私自使用隐私数据等问题频发,政府相继出台法律规定限制隐私数据的流通与共享,造成企业间“数据孤岛”现象,协同隐私数据联合
学位
随着互联网、移动智能设备的普及,人与人之间的联系越来越密切,交流越来越方便。微信、Facebook等社交软件的出现为知识传播提供了新的途径,极大地促进了知识的传播。与此同时知识在个人职业竞争、企业生存竞争中占据的地位越来越重要。企业中员工的对知识的掌握程度,直接影响着企业的竞争力,因此为了提高企业员工的知识水平,研究企业中知识的传播便十分重要。但企业中存在“知识壁垒”的现象,导致企业中的知识传播十
学位
手势识别作为人机交互的重要研究领域之一,其本质是将现实世界中的手势转换为其它信号数据,以让计算机理解意义并分类。其中,因骨骼数据具有轻量、简单的特点,相较于其它信号数据更易于处理,研究人员开始将其运用到手势识别任务中并取得了较好的效果。但从整体来看,针对骨骼手势识别的研究仍相对较少,并且仅使用简单的骨骼数据也大大提高了模型挖掘有效特征的难度。具体来说,目前骨骼手势识别技术所面临的关键问题在于:如何
学位
在线迁移学习是一种面向在线流式数据的增量式学习方法,可通过将离线源域上学到的知识在线迁移到目标域,以弥补目标域标记样本稀缺问题,从而提高目标域学习模型的性能。然而现实中并不总是存在源域与目标域的特征空间和标签空间都一致,异构在线迁移学习利用单个或多个异构源域的标记数据来增强目标域的在线学习性能。现有的异构在线迁移学习方法通常假定源域特征空间是目标域特征空间的子集,或依赖于特定的辅助数据来构建源域与
学位
滚动轴承是现代工业设备的关键部件之一,支持设备正常运转,轴承的健康状态关系到诸多安全问题。为了保障设备正常运转,学者们对大数据驱动的滚动轴承诊断方法进行了大量研究。然而,在实际工作条件下,缺乏故障样本是阻碍这些方法在工业环境中应用的一个主要因素。为了对设备的全生命周期进行更好的管理,针对滚动轴承这一关键部件,本文研究了一种基于关系网络的少样本故障诊断方法,适用于数据稀缺的场景。在该方法中,利用关系
学位
随着数字信息化、智能化的发展,视频监控技术在智能安防、智能家居和交通监测等领域的应用越来越广泛。视频异常检测是智能视频监控技术的重要组成部分,能够代替人工高效地检测监控视频中的异常片段,是目前学术界和工业界的研究热点。监控视频往往画面相似、场景重复,其中有价值的视频前景和背景片段存在分布不平衡的问题。如何有效地从这样的数据中发现和提取富有表现力和判别力的特征是目前视频异常检测领域的一大研究难点。本
学位
随着世界经济的发展和变革,许多城市传统的发展方式已经无法适应当代的社会需求,迫切需要通过创新发展去探索一条复兴之路。城市中的滨水空间是国内外许多城市文脉的发源地,同时也是城市中面临发展、转型、复兴的关键区域。国外的一些城市通过对城市文化的提取和发掘,成功的推动了城市滨水空间的革新,实现了良好的经济效益和社会效益。因此对文化导向的城市滨水空间复兴策略进行研究有着重要的理论意义和现实意义。18世纪的工
学位