基于贝叶斯优化的图神经网络架构搜索方法

来源 :吉林大学 | 被引量 : 2次 | 上传用户:py13141314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习方法的蓬勃发展,神经网络模型作为数据挖掘的有效手段已经成为许多行业的共识,相关方法在图像、文本、音频等多种数据形式的任务上取得了不错的成绩。近年来随着图神经网络(Graph Neural Network,GNN)模型的兴起,研究人员进一步利用图的数据结构建模广泛存在于生活中的非欧几里得空间中的任务变量交互与依赖关系,在推荐系统、知识图谱推理、蛋白质分子属性预测、化学分子生成、疫情传播预测等任务上进行了探索。在神经网络模型的发展过程中,从业者们为了节约重复设计、优化模型所产生的人力开销提出了神经网络架构搜索(Neural Architecture Search,NAS)方法,并在近十年中得到长足的发展。然而,针对图神经网络模型的架构搜索工作还处于发展起步阶段,从架构搜索方法的三个要素出发:受制于图神经网络模型缺失网络结构的特性,研究人员难以设计有表现力且创新的搜索空间;复用传统神经网络上的架构搜索方法,设计搜索策略以实现在庞大搜索空间中的高效搜索问题仍需解决;面对诸多结构属性各异的图数据集,设计合适的图神经网络模型快速评估方式提高模型验证效率也是需要解决的问题之一。同时,得益于图数据集结构特征显著,图神经网络架构搜索框架中进行多个数据集的历史搜索结构共享和搜索经验迁移成为了可能。针对以上问题和思考,本文主要工作如下:(1)提本出了一个基于贝叶斯优化方法图神经网络架构搜索框架。本文以设计图神经网络架构搜索框架为主要问题导向,将神经网络架构搜索领域的设计要素应用至图神经网络领域中——搜索空间、搜索策略与评估策略。本文设计了一个可变深度的非单链式图神经网络搜索空间,旨在提高模型的表达能力上限;结合贝叶斯优化方法的全局搜索特点,本文希望实现快速且稳定的图神经网络架构搜索流程。本文是第一个将贝叶斯优化方法应用至图神经网络架构搜索任务中的工作。(2)结合神经过程方法与神经网络架构搜索方法,设计了一个拟合图神经网络结构与性能数据的图神经网络架构性能预测器,同时实现了“利用多个数据集的架构搜索历史数据迁移经验帮助预测性能”的能力。本文将神经过程方法引入至神经网络架构的性能预测任务中,将神经过程方法对相关函数族的拟合能力拓展到神经网络结构与性能数据预测任务中,旨在对图神经网络结构集合有鉴别能力。另外,本文还将神经过程对函数族的拟合能力应用至多个数据集历史数据中,旨在为图神经网络架构搜索框架在新数据集上提供迁移经验或提供缓解冷启动的能力,提高模型在真实任务中的部署速度。(3)在多个图数据集上进行了实验对比,对比内容包括图神经网络架构搜索框架搜索到的神经网络性能对比和神经过程方法对图神经网络结构性能预测能力的对比。实验结果表明本文提出的图神经网络架构搜索方法相较于传统图神经网络模型以及其他主流工作有竞争力;本文提出图神经网络模型性能预测方法可以在少量训练的情况下获得图神经网络模型的鉴别能力。(4)作为应用实例之一,本文将图神经网络架构搜索框架拓展至约束满足问题(Constraint Satisfaction Problem,CSP)的一个实例图着色问题(Graph Coloring Problem)上,探索了使用图神经网络模型解决图着色问题的可能性。
其他文献
研学旅行是当下很受欢迎的旅游业态,是乡村振兴需要的产业支撑和文化支撑。永州市文化底蕴深厚,非遗资源丰富,禀赋优异。但将非遗资源转化为经济优势还不够,非遗研学旅行发展不足,对乡村振兴的贡献不多。基于RMP理论梳理永州非遗研学旅行发展的现状,对非遗研学旅行产业发展认识不够、非物质文化遗产资源保护传承不力、非遗研学旅行产品内容设计和市场推广不足、非遗研学旅行评价和保障机制不完善、非遗研学旅行社区居民参与
期刊
目的:研究分析彩色多普勒超声诊断脑血管病患者颈动脉硬化的效果。方法:选择2018年12月~2019年12月本院收治的脑血管病颈动脉硬化患者50例作为观察组,同期选择到本院健康体检且结果没有脑血管病颈动脉硬化的志愿者50例作为对照组。同时给予100例研究对象彩色多普勒超声诊断,分析两组研究对象的颈动脉内膜中层厚度以及颈动脉硬化斑块情况,判断彩色多普勒超声诊断在临床中的使用价值。结果:观察组患者的左颈
期刊
当前,各高校不断创新文化育人方式,从文化自觉视野下重新认识高校文化育人的内涵,积极探索高校文化育人的实施路径。在新形势下,高校文化育人要为培育社会主义核心价值观服务,以立德树人为目标,从发扬大学精神、树立文化品牌、加强新媒体建设三个方面加快推进。
期刊
互联网中时时刻刻产生了海量的数据,其中产生的大部分是文本数据,具备丰富的信息。使用深度学习技术对文本数据进行挖掘、对文本中蕴含的情感进行预测和分析具有显著的商业价值和社会价值。细粒度情感分析是情感分析领域中的一个重要分支,在细粒度情感分析研究中,一条文本评论中包含多个评价对象(也称为方面),对不同方面进行情感极性的预测,可以形成对文本评论数据更精准、多维度的认知,应用前景广阔。准确判断句子中不同方
学位
遥感技术因其观测范围广、可周期重访且不受国界限制等特点,已成为对国内外重点关注地区进行常态化监控的重要手段。舰船作为海上重要运输载体与特殊军事力量,在促进经济发展、维护国家权益等方面发挥着非常重要的作用。利用遥感技术特有优势,对舰船目标开展检测识别与运动监测,无论是在渔业管理、航运安全、失事救援等民用方面,还是在监视敌方舰船兵力部署、掌握舰艇编队动态、评估战时海上毁伤效果等军事方面,均有着重要的现
学位
近年来,生物医学领域的大量研究成果推动着该领域飞速发展,与此同时,生物医学领域文献的数量也以惊人的速度增长。作为展示专家科研成果的重要途径,文献中蕴藏着许多有价值的生物医学知识。帮助科研人员从繁杂的非结构化文本中有效获取需要的信息,对于构建生物医学FAQ库,辅助科研人员的后续研究工作具有广泛的应用价值。传统解决问答任务的检索匹配方式存在无法捕获段落的上下文语义信息、领域适应性欠佳等缺点,不适用于科
学位
在医疗大数据的时代中,癌症无疑是最令人沉重的疾病之一,它带给社会巨大的负担和伤痛,但是癌症病理的成因机制仍然未知,所幸的是大数据时代积累了大量的基因表达数据。但是这些数据普遍存在着存在着高维小样本的特点,过高的维度在增加了计算复杂度的同时也影响着机器学习算法的性能,继而导致维数灾难,样本数过少则容易引发过拟合和样本不均衡分布的问题。研究表明,在基因组中往往只有一部分的基因亚群在总体表达水平上发挥了
学位
要实施全民健身计划,就要使所有小学高年级女生都可以达到包含体育在内的全面发展的要求,小学体育教学工作者,就一定要帮小学高年级女生扫清心理障碍。针对女生的心理和生理特点改进教学手法,提高小学高年级女生学习的积极性。根据小学高年级女生现实情况,尽可能采用形式多样的教学方法,让课堂灵活生动。
期刊
随着信息技术的发展,推荐系统因为其给用户带来的便捷性,而越来越受到研究人员的关注。但是现存的推荐算法,在提取数据特征,特征向量编码等方面存在着诸多问。针对以上若干问,本文广泛参考了当前主流推荐算法,并分析他们的优势和不足,分别利用逻辑回归提出了一种融合用户偏好的协同过滤算法,一种深度学习神经网络与Adaboost相结合的推荐算法,用于实现不同类型数据集的推荐功能。本文主要研究内容如下:(1)针对传
学位
随着世界进入人口老龄化时代,劳动力短缺成为各国经济发展面临的重要问题。服务型机器人可辅助人类进行繁杂的日常性工作,因此日益成为机器人领域的研究对象。在人类的日常生活活动中,穿衣最重要的活动之一,但对老年人、残障人士等群体而言却是一项负担。近些年来,机器人辅助穿衣的研究逐渐成为服务型机器人领域的研究重点,该研究旨在通过各种研究技术与手段辅助用户穿上衣物。然而目前大多数辅助穿衣研究着重考虑穿衣过程,简
学位