基于贝叶斯深度学习的多任务技术研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:q999666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多任务学习通过利用相关任务的共享信息优化多个学习任务,从而提升各个任务的模型预测能力。多任务学习作为人工智能的一个重要研究方向,已被广泛应用于机器学习的各个领域。近些年来随着深度学习的快速发展,多任务学习技术在处理视觉、文本和语音等任务上取得了令人满意的性能表现。然而由于多个任务间关系的复杂性,深度多任务学习过程中存在共享信息匮乏和负迁移等问题。因此如何令特定任务有效地学习来自于其他任务的知识信息仍然是多任务深度学习长期以来面临的重大挑战。贝叶斯深度学习将贝叶斯学习原理与深度神经网络相结合,已经成为了一个强有力的研究领域。它通过捕获模型中存在的不确定性因素,与传统深度学习相比具有更强的感知与推理能力。考虑到在深度多任务学习中多模态信息交互时存在大量的不确定性问题,本文通过引入贝叶斯深度学习方法,分别从共享网络模型结构与任务优化平衡策略对多任务学习方法进行研究,本文的主要工作如下:针对多任务学习网络中由于固有模型结构造成的共享信息交流问题,本文提出一种利用贝叶斯门机制的多尺度多任务学习网络。本文在共享网络解码阶段设计了一种多尺度与多任务的知识交互模块,实现在网络解码阶段中不同尺度特征与多个任务间的共同学习。各个特定任务在多任务学习单元池中学习尺度的上下文信息,同时进行任务间的信息交流。本文设计了贝叶斯知识选通门机制,利用贝叶斯深度学习算法,门控单元在共享网络的不同交流阶段选通不确定的共享特征流。实验表明本文提出的模型能够在多个视觉任务中实现更好的性能。针对如何避免任务间的负迁移和进行任务权重平衡问题,本文提出一种基于权重更新的贝叶斯多任务动态优化策略,通过引入贝叶斯深度学习解决多任务优化策略问题。本方法通过考虑在未来信息中的不确定性,对使用前瞻信息的验证损失相关的任务权重进行学习,并利用贝叶斯深度学习算法将验证损失任务权重分布化,以探索未来梯度中各个任务间的关系,从而令每个任务的权重向更优的梯度方向进行更新。在多个计算机视觉任务数据集与多任务网络的实验表明,本方法能够更加有效地实现多任务学习性能的提升。
其他文献
高比例可再生能源和高比例电力电子设备(即“双高”)接入电网将打破传统的电力系统惯量支撑局面,削弱系统惯量水平的同时带来运行安全隐患。针对机组强迫停运对电力系统惯量水平的影响,提出一种基于有效惯量分布的电力系统惯量不足概率评估方法。通过构建考虑惯量支撑机组强迫停运率的有效惯量模型,在求取系统惯量评估参考值和源运行状态的基础上,利用半不变量法和Gram-Charlier级数展开获取有效惯量概率分布曲线
为实现水产养殖尾水中低浓度磷酸盐的吸附去除,采用化学法制备了椰壳活性炭负载纳米羟基氧化铁(FeOOH@AC)和纳米三氧化二铁(Fe2O3@AC)吸附剂,研究了吸附剂投加量、初始磷浓度和水中共存离子对吸附除磷效果的影响,分析了载铁活性炭对磷的吸附机理及FeOOH@AC对养殖尾水中磷的去除能力。结果表明:FeOOH@AC的最适投加量为20 g/L,对初始磷浓度为0.50 mg/L磷酸盐的最大吸附量为0
颈椎病分为颈型、神经根型、椎动脉型、脊髓型、交感型和混合型6种类型,其中神经根型颈椎病是常见的颈椎病类型之一,表现为颈项部肌肉僵硬、酸痛,活动受限,常出现上肢麻木疼痛波及至手指。临床应用推拿手法治疗疾病时,须提出与推拿临床实践相应的治则治法,即在临床辨证的前提下提出相应治疗原则,施用相应推拿治法。其中治则是治疗疾病时须遵循的法则,是用以指导治疗方法的总则;而治法是在治则的指导下制定的治疗疾病的具体
目的 探讨人文素养教育在急危重症护理学课程中的教学效果。方法 选取本校2018级128名护理本科生为观察组,将人文素养培养融入课程教学中;2017级125名护理本科生为对照组,采用传统教学模式。课程结束后比较两组护生的形成性考核、期末考试和总评成绩,并观察两组护生人文素养评价结果及对课程的满意度。结果 观察组护生形成性考核、期末考试及总评成绩均高于对照组,差异均具有统计学意义(P<0.05);观察
乡村振兴和相对贫困治理是走向共同富裕的两大重要战略任务。乡村振兴背景下相对贫困治理并非凭空产生,而有其深厚的历史逻辑、理论逻辑、实践逻辑,但现实推进中受经济水平、信息资源、思维观念等因素影响,也面临产业稳定增收挑战大,内生动力持久发力难,绿色发展理念入心化行阻力大,振兴体系融通创新任务重等困境。对此,需充分发挥两大战略大小结合、双向互促的优势,将相对贫困治理纳入乡村产业、人才、文化、生态、组织“五
近几年来,在"互联网+"大潮的影响下,各种农产品电商平台在全国范围内涌现出来,以此实现销售方式的转型升级。该文以天宝镇樱桃为例,通过实地调研,分析了"观光采摘""电商推介""产地直供""三合一营销模式"的特点和优势,并提出了完善营销模式的对策建议,旨在为打造融入生产、配送、销售于一体的新业态提供参考。
<正>2022年,只是人类历史长河里的沧海一粟,却注定会成为中华民族伟大复兴进程中的关键节点。党的二十大胜利召开,描绘了全面建设社会主义现代化国家的宏伟蓝图。“积极稳妥推进碳达峰碳中和”“深入推进能源革命”“加快规划建设新型能源体系”,这些表述无不令风能人振奋不已。全年,在政府的大力支持下,风电行业克服疫情延宕等不利因素,再次交出一份优异的年度答卷。
期刊
本文对SPD供应链模式下医院耗材物资管理进行了研究,以T医院及其呼吸内科为案例进行分析,结合国内外研究认为SPD模式有助于医院精细化成本管理,有助于提升服务效率、效益、质量和满意度,降低运管成本,提升医院综合竞争力。
改革开放以来,我国经济社会飞速发展,城市化进程不断加快,伴随着城市发展的人民防空地下工程特别是人防地下室工程的规模越来越大,建设需求越来越强。人防工程的建设取得了令人瞩目的成就,在进行地下室人防建筑设计时很容易受到不良因素的干扰,这也会导致地下室人防建筑设计出现问题,直接影响地下室人防建筑的安全效果和综合性能。这就需要制定相关对策,从而强化地下室人防建筑设计力度。本文就地下室人防建筑设计展开研究,
目的:HERG通道检测是药物早期筛选和安全性药理试验的重要内容,常用的离子通道异源表达体系有HEK293细胞和CHO细胞,本研究拟在全自动膜片钳系统中比较转染并稳定表达hERG通道的HEK293细胞和CHO细胞hERG电流的特征,确立适合自动膜片钳研究的离子通道细胞模型,并选择CiPA项目中的化合物进行hERG电流抑制作用的评价。方法:细胞汇合度达到80%时,使用Trypsin-EDTA (0.0