【摘 要】
:
在机器学习领域,多示例学习作为一种弱监督学习方法,已被广泛应用于计算机视觉、文本分类、医学影像分析等领域。近年来,随着深度学习技术的快速发展,结合神经网络的深度模型成为多示例学习领域的一个重要研究方向,深度模型可以有效地学习示例的高级表示,进而取得比传统浅层多示例学习方法更好的分类效果。然而,一方面现有多示例神经网络通常将包中示例视为独立同分布的,这忽略了示例间存在重要结构信息这一事实;另一方面许
论文部分内容阅读
在机器学习领域,多示例学习作为一种弱监督学习方法,已被广泛应用于计算机视觉、文本分类、医学影像分析等领域。近年来,随着深度学习技术的快速发展,结合神经网络的深度模型成为多示例学习领域的一个重要研究方向,深度模型可以有效地学习示例的高级表示,进而取得比传统浅层多示例学习方法更好的分类效果。然而,一方面现有多示例神经网络通常将包中示例视为独立同分布的,这忽略了示例间存在重要结构信息这一事实;另一方面许多方法在构造包表示时以标量形式编码示例特征,可能不足以有效的保留包中示例的属性信息。因此,如何充分挖掘示例间信息和包的属性信息成为深度多示例建模的一个重要研究方向。本文在分析深度多示例学习算法的国内外研究现状的基础上,针对以上两个问题对深度多示例学习模型与算法进行深入研究,取得以下研究成果:一、提出一种基于自注意力的深度多示例学习模型与算法。首先,针对现有的算法依赖于示例独立同分布假设,而忽略示例间重要依赖信息这一问题,提出一种基于自注意力机制的深度多示例神经网络(SA-MINN),该模型融合自注意力机制对示例之间的全局依赖关系,学习包内目标和非目标示例间最具差异性的特征;然后,为了降低计算复杂度,进一步提出一种基于诱导点的自注意力框架(ISA-MINN),该框架在不影响性能的同时将自注意力的计算时间降低至线性规模。以上模型经过实验进行验证:所提方法不仅适用于标准多示例假设问题,而且在基于阈值和基于计数假设的情况下依然具有良好的分类能力,又由于所提方法可以聚合图像区域间的多层依赖信息,特别适合处理医学图像任务。二、提出一种基于嵌套包的深度多示例学习模型与算法。为了解决现有方法对包的编码表示效率不高的问题,通过多示例表示转换为嵌套多示例表示,将嵌套多示例学习与多示例学习相结合,提出深度嵌套多示例神经网络(MMINet)。该方法使用卷积网络将示例包编码为嵌套包,提取向量形式的示例特征。因此,所提模型为包中的每个示例建模多个嵌入(通道),从不同方面捕获输入示例的属性。然后使用bag-layer聚合示例最具判别性的特征,构造高质量的嵌套包表示。实验验证表明MMI-Net可以根据不同的任务和数据,灵活自适应地学习转换函数,与其他多示例学习方法相比,在编码示例特征方面更有效,这对处理大型数据集来说非常有益。总之,第一种算法使用注意力机制挖掘示例间的依赖信息,第二种算法结合嵌套多示例学习捕获示例的不同层面的特征。两种方法的基本思想都是生成包层面的高级表示,进而提高模型的分类性能。实验结果表明,以上所提模型与算法在多个多示例学习任务中实现了最先进的或有竞争力的性能,且具有良好的可解释性。
其他文献
充分认识和了解波浪要素是人类进行海洋与海岸水动力基础研究的必要条件,而波高和周期等基本波要素作为重要的波浪观测参数,紧密关联着海岸工程的建设,因此,为其研究一种高精度的测量方法至关重要。在此背景下,本文基于大比尺波浪水槽实验平台开发了一款基于图像分割的波面实时测量系统,并将其封装成可应用软件。文章主要的工作内容如下:第一,介绍了研究的方法,布置了实验环境。阐述了研究所用的图像分割算法和卷积神经网络
在工业技术高速发展的今天,传统的码头系泊方式并未随着港口设施的进步和船舶技术的发展而改变。为了有效减少码头系泊事故的发生以及适应未来智慧港口的发展趋势,新型的智能系泊系统的开发也越来越受到国内外的重视,具有广泛的应用前景。本文对新型的智能机械臂式的系泊装置进行了分析研究,进行的主要工作如下:首先,根据机器人运动学和动力学的相关理论,运用D-H法对系泊机械臂进行空间描述,利用齐次矩阵推导出机械臂运动
壳聚糖(CS)是一种含量丰富的天然高分子,具有环境友好、生物相容性高等优势。它的残糖重复单元包含三个易于改性的基团:C-2位的氨基、C-3和C-6位的羟基。因此,大量设计并合成的壳聚糖衍生物在生物医药等工业领域得到广泛应用于。但是,具有良好的抗菌活性水溶性壳聚糖在电容去离子的应用中会逐渐从电极表面析出,而导致抗生物黏附性下降。所以,研究工作集中在设计合成了能够通过π-π相互作用吸附于还原氧化石墨烯
随着流量时代的到来以及网络技术的更新迭代,互联网中的IP地址随着用户的增长变得紧缺。同时,互联网的传播形式已经逐步的从主机之间的端到端通信向流媒体业务转变。所以互联网的应用也更加注重以内容为中心的转发形式。针对这样一种趋势,命名数据网络架构被提出。在NDN网络中,数据的请求和响应以内容名称前缀方式进行标识,其转发利用内容的名称在传输的路径中进行寻址。其中每一个路由器节点都有缓存数据的功能,如果在中
实时嵌入式系统通常具有严格的实时性约束。然而高速缓存的应用使得任务的最坏执行时间无法精确预估,这通常会造成任务最坏执行时间的过量估计,降低调度算法的有效性,给系统的实时性带来负面影响。为精确估算任务的最坏执行时间引入了高速缓存锁定机制,其核心思想是将某些指令和数据锁定在高速缓存之中,在任务执行过程中,这些被锁定的内容将不会被替换,人们可以清楚的知道哪些内容存储在高速缓存中,进而精确地预估任务的最坏
高端装备制造业(High-end Equipment Manufacturing,以下简称HEM)作为战略性新兴产业之一,是推动我国工业转型升级的重要引擎。大力培育和发展HEM业,不仅是当前“双循环”经济背景下产业发展的大势所趋,更是驱动国产装备入局全球高端产业链,提升产业核心竞争力的势在必行之举。虽然我国HEM业在多项国家政策扶持下获得了较大程度上的发展,但仍面临着核心技术与关键零部件高度依赖进
大脑作为人体最重要的器官,一些不健康的生活方式可能会导致各种脑部疾病的产生,这些疾病严重威胁着人类的身体健康。临床上通常使用核磁共振对脑部结构进行成像,之后由医生对核磁共振成像中的各个脑部组织进行区分,进而对脑部疾病进行分析。但是人工区分脑部组织耗时较长,对专业知识要求较高且可复现性较差,因此对脑组织实现自动且准确的语义分割十分重要。目前基于深度学习的3D MRI语义分割网络存在两个问题:1、多尺
随着工业技术的不断进步,工业应用装备对于密封结构的密封效果要求越来越高,填料密封等传统的密封形式由于其密封原理缺陷,导致传统密封存在的磨损量大、摩擦产生的热量高等问题难以解决。对于出现的这种情况,需要研究一种具备泄漏量低、可靠性高等优点的密封方式。相对于传统密封方式,磁流体密封作为一种新的密封形式逐渐得到了研究人员的关注。在密封液体时,由于磁流体密封应用于旋转机械中涉及非常复杂的物理过程,致使磁流
光引发剂是光聚合体系的重要组成成分,在光源照射下它通过化学反应产生活性种引发光聚合。光聚合使用的传统光源为汞灯,但是,由于汞污染对环境和生物安全的危害,汞灯的使用受到限制;相比汞灯,可见光发光二极管(LED)更加节能,环境友好。由此,开发吸收波长与LED可见光源匹配的、并具有良好引发效率的光引发剂具有重要研究意义。吡咯并[3,2-b]吡咯是10-π电子杂环,有优越的光电性质,10电子结构给电子能力
水污染对人类的生存与发展具有严重负面效应。生物法相较物理法和化学法,处理效率高、生态融合性好。然而工业废水中存在相当量的有毒有害污染物,以及当污染物在水体中的含量较低时,生物法的处理效率明显降低。考虑到水体自净过程无外乎是物理、化学和生物三种净化方式协同作用的结果。因而模拟自净化过程,研发仿生态方法,尽量减少污染治理中二次污染/污染转移成为趋势。本工作以清洁能源——太阳能作为治理污染的能源,同时选