基于多目标优化的神经架构搜索方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:hanyushan10601
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络因其在多个不同领域中表现出的有效性,成为人工智能领域中的关键技术。在深度神经网络的部署场景中,因为终端设备、边缘服务器和云端服务器各自的需求和处理能力有所不同,所以其适合部署的神经网络结构也并不相同。因此,针对来自不同设备不同目标的需求设计对应的神经网络架构具有重要的研究意义和实用价值。然而,现有的通过人工设计来满足深度神经网络不同部署场景的的过程,往往是效率较低的。神经架构搜索属于自动化机器学习的子领域,可以被看作是设计神经网络结构的自动化控制系统,使得模型可以无需人工干预地学习到合适的网络结构。通过神经架构搜索的方式来针对多目标的神经架构需求进行自动设计,能够节约专家和工程师们大量的工作。其中,关键的难点是针对多目标神经架构需求的搜索算法设计。为此,本文研究了基于多目标优化的神经架构搜索问题,主要从双目标和多目标神经架构搜索两个方面展开了研究。本文首先研究了面向资源消耗和对抗鲁棒性的双目标神经架构搜索方法。该方法通过线性加权的方式,将两个不同的目标同时考虑进入搜索过程,从而将移动智能场景下对抗性鲁棒神经网络架构设计问题转化为了双目标的可微神经架构搜索过程。其中,通过引入对抗训练的方式来优化对抗鲁棒性的目标,随后融合利用递归资源估计的方法,在优化对抗鲁棒性的同时减少模型的资源消耗。实验结果表明,本文中提出的双目标神经架构搜索方法在两个不同偏好下得到的神经网络结构,在对抗鲁棒性和参数量的模型资源消耗上优于人工设计的移动神经网络结构。为了结合基于线性加权模型的基于帕累托边界模型的优点,本文提出了一种基于偏好预测的多目标神经架构搜索方法。该方法通过将来自用户分布偏好设置集加入到搜索过程中,使得多目标神经架构搜索可以在一次学习过程中探索多个偏好设置,并在后期通过用户给出的偏好返回合适的解。其中,该方法通过一种线性占优的分层算法来快速确定不同网络结构之间的优劣关系。此外,为了防止初始的偏好设定集使得学习过程陷入局部最优,采用协同进化的机制在学习过程中不断更新偏好设定集。实验结果表明,与原始的进化算法和帕累托边界主导的NSGA-II算法相比,该算法在NASBench101数据集上具有更好的Recall和Precision指标表现。
其他文献
事件因果推理是人工智能实现从感知到认知的核心问题之一,具有重要的理论研究价值和广泛的应用场景。现有的文本中事件因果关系识别方法往往注重于挖掘输入文本中的序列特征,但忽略了事件间的结构联系,难以建模远距离事件间的因果联系;同时,现有的事件因果识别方法主要聚焦于事件实例层级,存在预测结果不一致的问题,或需要额外的约束解决冲突,导致模型的复杂度较高。针对上述问题,本文结合了依存句法树信息和注意力机制,增
学位
目的本研究在探讨儿童虐待与中小学生校园欺凌受害的关系的基础上,采用结构方程模型(Structural Equation Modeling,SEM),探讨家庭功能、抗逆力和焦虑在其中的独立中介作用及链式中介作用,并进一步探讨特定类型的儿童虐待对校园欺凌受害的影响,以及儿童虐待对特定类型的校园欺凌的影响,并检验中介效应的性别差异。方法采用横断面调查方法,于2020年10月至12月调查了中国安徽省部分中
学位
近年来,互联网推动了在线教育的快速发展,语音合成技术成为在线教育辅助教师教学的重要技术手段之一,就数学教学而言,为了合成数学公式的语音,首先需要将数学公式转换成自然语言拼读文本,即数学公式的自然语言拼读文本生成。目前针对这一问题的研究工作较少,为推动在线数学教育发展,本文针对如何将La Te X格式的数学公式转换为自然语言拼读文本这一问题开展了研究,并提出了使用文本生成技术来完成转换的有效解决方案
学位
研究背景系统性红斑狼疮(systemic lupus erythematosus,SLE)是一种自身免疫性疾病,以多种自身抗体产生、炎细胞浸润、多器官功能脏器损害为突出表现的风湿性结缔组织病。SLE的病因机制未明。已有研究证明,环境因素、遗传因素、自身免疫调节紊乱等因素可能参与到SLE的发生发展中。但是这些证据仍无法完全阐明SLE的疾病特点。N6-甲基腺苷(N6-methyladenosine,m
学位
抑郁症作为现代社会最主要的心理疾病,严重威胁了人类的精神健康。抑郁症的重要筛查方法是通过精神科医生对患者的访谈会话进行评估和使用抑郁症诊断量表,但诊断准确率易受到医生临床经验和主观判断的影响。而抑郁症患者的行为、言语和声音等均能提供检测证据,因此基于多模态数据的抑郁症自动检测方法逐渐成为近年的研究热点,具有重要的研究价值和应用前景。目前多模态抑郁症自动检测主要分为上下文无关和上下文依赖两种方法。上
学位
背景血清胆红素和血清白蛋白与新发高尿酸血症之间的前瞻性关联尚不确定。目的了解江苏省连云港市高血压人群血清胆红素和血清白蛋白与新发高尿酸血症(Hyperuricemia,HUA)的相关性,并评估其可能的修饰因子;为进一步了解高尿酸血症发生发展的影响因素及其早期预防策略提供参考依据。方法本研究于2008年11月至2013年8月,在连云港市东海县和赣榆县20个社区的高血压人群进行。主要研究终点为新发高尿
学位
随着人工智能和金融证券市场的迅速发展,金融领域智能化研究受到越来越多研究者的关注,但面向用户投资历史回放阶段的智能化研究较少。许多没有证券投资经验的新用户,从复杂的历史投资数据中分析典型的投资案例是繁琐困难的。因此,通过智能化点评系统分析用户的历史投资数据并生成对用户投资行为的点评报告,能够帮助投资者总结经验教训,提高效率,从而更好的理性投资。本文提出面向用户操盘回放的自然语言点评任务,即依据用户
学位
研究背景系统性红斑狼疮(systemic lupus erythematosus,SLE)以自身抗体产生、异常免疫应答为特征,是一种累及多系统的自身免疫性疾病。疾病发病隐匿,病情迁延不断,预后不佳。然而,SLE发病机制十分复杂,至今尚未阐明。近年来,表观遗传修饰为SLE发病机制研究提供新思路,其中N6-甲基腺苷(N6-methyladenosine,m6A)修饰及长链非编码RNA(long non
学位
近年来气象灾害频繁,暴雨、雷暴、台风等强对流灾害天气对人民的生命财产安全和地区的经济发展造成了严重的威胁,建设强对流灾害天气智能预警能力是防治气象灾害的一种有效手段。强对流灾害天气是由中尺度的强对流云团导致的,对强对流云进行实时地监测和预警是提升预警能力的关键。本文以静止气象卫星FY-4A的中国区观测数据为基础,开展对流云监测与预警任务的研究。对流云监测任务是在卫星云图中将对流云覆盖区域分割出来,
学位
目的肺癌是全球疾病负担最严重的恶性肿瘤。肺结节作为早期肺癌最常见的临床征象,常以多种形式检出。本研究基于马鞍山市肺癌筛查队列,分析马鞍山市社区肺结节人群基线的结节特征、基线后是否主动复查,以及结节恶性转归情况,并逐一探讨其影响因素,为有效推动当地肺癌防治、加强肺结节人群的管理提供数据支持。方法以马鞍山市社区2020年8~10月经基线LDCT检出的839名肺结节者作为研究对象。在基线时,通过问卷调查
学位