基于随机配置径向基网络的多任务学习及应用

来源 :浙江工商大学 | 被引量 : 0次 | 上传用户:jianjie12321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在机器学习领域,通常会遇到对多个存在关联关系的任务建模的情况。传统的思路是使用单任务学习方法对每个任务分别训练模型,这种做法忽略了任务之间的相关关系,损失了存在于数据或者模型参数之间的信息。尤其是在单个任务数据量不足的情况下,单任务模型很难通过训练得到满意的学习效果。多任务学习的提出就是为了解决单任务学习的这个问题,它通过多个存在关联关系的任务中包含的共有信息来提升各任务的学习效果。而充分挖掘这些共有信息并建立快速、有效的求解模型是多任务学习中的重要问题。本文从三部分对多任务学习展开研究:(1)提出了一种基于随机配置径向基网络的多任务监督学习算法(MTSL-SCRBN)。该算法将经典的参数共享多任务学习思想与随机配置网络(SCNs)的约束共享配置思想进行了有机结合。即,不同任务共享网络模型中的线性变换内权参数和核函数的尺度参数,其值通过共享的监督机制进行随机配置。在充分利用任务间的数据信息基础上,达到快速求解的目的。由于多任务之间的关联性的帮助,MTSL-SCRBN中模型超参数的随机配置条件相对于原SCNs算法中的条件更弱。同时,径向基函数的引入让最后的模型具有较强的表示能力。在合理的假设条件下,本文给出了MTSL-SCRBN算法的收敛性证明。一个模拟数据集和三个真实数据集上的实验结果证明了MTSL-SCRBN在处理某些样本不足的多任务问题时具有良好的学习效果和泛化能力;(2)提出基于高维数据的多任务学习方法。此类方法把降低维度思想和传统的多任务学习方法相结合,通过降低原始数据维度的方式来弥补传统多任务方法在处理高维数据时计算效率较低的缺点,从而扩展传统多任务方法的应用领域。本文还将高维数据下MTSL-SCRBN与基于深度学习的多任务学习方法进行对比,两个真实数据上的实验结果验证了该算法能够解决由于数据维度过大导致的模型计算效率低问题;(3)探究了多任务学习的两个拓展问题。第一个是不同激活函数下本学习框架下的多任务学习问题。针对本文提出的MTSL-SCRBN,选取几种常用的激活函数组成基于随机配置网络的多任务学习方法,验证结合约束共享和参数共享的任务关系学习方式的有效性;第二个是针对数据集大小对多任务学习效果的影响问题。即,本文对多任务学习方法的作用范围进行探索。对比多任务学习方法和单任务学习方法在两组真实数据上的学习效果和计算效率,我们建议文中提到的多任务学习方法的适合作用范围以“千”样本量级作为分隔。
其他文献
随着老龄化社会的到来,人们对养老的需求逐步提升,从“老有所依”和“老有所养”到不断追求更好的养老生活,传统的养老模式被新型养老模式所取代,传统养老院的设计理念和经营模式也已经不能满足老年人的情感需求。在这种情况下,新型养老院逐渐进入人们的视野,与传统的养老院不同,适老化养老院设计迎合老年人的居住需求与审美品味,注重老年人的行为特征与精神需求,这是适老化养老院的魅力所在。重庆市缙云山进行整体村落改造
随着新媒体技术和媒介的不断发展,文化遗产数字娱乐化已经成为一种必然趋势。本文从明式家具这项文化遗产的数字娱乐化角度切入,拟研究设计一款基于Unity3D平台的“轻游戏”型明式家具展示系统,来推广普及明式家具文化,从而实现关于明式家具保护与传承的目的。本文首先对国内外文化遗产的数字娱乐化研究现状进行了梳理,分析了国内外相关领域研究成果及存在的问题,确立了本课题的主要研究内容和研究方法。其次,针对文化
高新技术企业作为我国经济转型和现代化进程中的关键推动力,其信用状况的综合评估已成为当前研究的热点问题。当前,评价企业的信用有很多种方法,比如因子分析法、熵权法、层次分析法等,但这些方法或多或少会存在人为因素干扰太多、评价结果不准确等问题,这使高新技术企业的信用状况不能得到真正的反映,也会给融资造成很大的困难。因此,有必要从高新技术企业的数据本身入手,完善高新技术企业的信用评价体系,寻找一种比现有评
民办高校的思想政治教育水平的提升对于我国高等教育事业有着重大意义。民办高校承担着为我国在新形势下的发展建设提供人才支撑的重要任务。民办高校辅导员是民办高校加强思想政治教育阵地的重要力量,更是学生在日常接受思想政治教育的主要负责人,辅导员的工作在民办高校的学生工作中具有核心地位。在新形势下,我国民办高校辅导员的思想政治教育工作能力和学生管理能力的融合发展遭遇的“瓶颈”问题十分突出。本文以我国北方某民
近年来全球气候持续变暖,温室效应加剧,2019年更是成为一百四十年以来的“史上最热年”,全球气候情况持续恶化,全国多地极端天气情况频发。环境问题已经成为困扰全球各个国家的焦点问题,环境污染是导致环境问题出现的重要原因之一。环境污染问题也是制约世界各国经济发展的重要因素,经济的快速发展不可避免地对环境状况造成了一定的负面影响,但是人类的生存又必然要依赖良好的自然环境。我国在全面实现现代化建设的进程中
制造业是中国国民经济的主体部门和经济可持续发展的根基,加快建设高端化、现代化的制造业是中国经济由高速增长转向高质量发展的重要支撑。在当前中国经济增速减缓的背景下,国际经济冲击和国内经济运行的不确定性加大,部分制造业企业绩效水平呈现“断崖式”下跌,一些制造企业绩效则呈现“稳中有升”,绩效分化的迹象更加明显。随着中国一般制造业的全面开放和供给侧结构性改革的不断深化,制造业企业进入或退出市场的频率提高,
改革开放以来,我国工业化水平有了巨大飞跃,工业结构性加速成就了中国经济高增长的奇迹,并且使中国迅速崛起成为世界工业大国之一。然而,中国传统工业经济增长主要依靠要素投入和政府投资来驱动,其典型特点是高能耗、高排放、低效益、低产出,这不仅导致我国经济发展格局虽大却不强、虽快却不优,还在一定程度上降低了经济可持续发展的能力。为了解决这一发展困境,同时顺应我国“十三五”规划中指出的绿色发展概念,工业发展模
改革开放四十多年来,我国经济和城镇化快速发展,曾经粗放的发展方式下所隐藏的环境问题暴露出来,污染事件频发,环境质量不断恶化,威胁居民身心健康,并开始制约经济的发展。为更好的治理城市环境污染,国家环保总局于1997年提出创建一批经济快速发展,环境清洁优美,生态良性循环的示范城市,以期起到模范带头作用,带动区域经济与环境的良性平衡。创建国家环保模范城市活动轰轰烈烈的开展了很多年,也形成了一批环境标杆城
随着城乡二元体制的不断突破,大量的农村剩余劳动力进入城市劳动力市场,国家统计局的数据显示,2019年中国农民工总量为2.91亿,农民工已经成为我国经济发展的强大动力。然而,一个不可忽略的事实是农民工的就业质量依然不高,党的十九大报告明确提出要“促进农民工多渠道就业创业”,以提升农民工的收入水平。近些年来,农民工可选择的就业途径不断丰富,但不同的就业途径对农民工就业福利究竟产生了怎样的影响却还不明确
当今世界政治、经济环境变化多端,企业所面临的不确定性因素大大增加,加之在过去很长一段时间,我国法律体系不够健全,也为渠道成员的机会主义行为留下了空间,其后果不仅会引发不必要的渠道冲突,使得渠道成员之间的合作氛围愈加紧张,也会对渠道伙伴的不信任感增强,其结果严重降低了整个渠道系统的运行效率。而国内渠道学者关注的重点仍是模仿、借鉴西方选题,但仅从客位要素的视角出发,不能够充分解释中国本土营销现象及问题