【摘 要】
:
针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题,提出了一种基于交叉层级数据共享的多任务模型。该模型关注细粒度的知识共享,且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力。首先统一多层级共享专家,以获取复杂相关任务间的公共知识;然后将共享信息分别迁移到不同层级的特定任务专家之中,在上下层之间共享部分公共知识;最后利用基于数据样本的门控网络自主选择不同任务所需信息,
论文部分内容阅读
针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题,提出了一种基于交叉层级数据共享的多任务模型。该模型关注细粒度的知识共享,且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力。首先统一多层级共享专家,以获取复杂相关任务间的公共知识;然后将共享信息分别迁移到不同层级的特定任务专家之中,在上下层之间共享部分公共知识;最后利用基于数据样本的门控网络自主选择不同任务所需信息,减轻样本依赖性对模型的不利影响。所提模型相较于多门控混合专家(MMOE)模型,在Census-incom
其他文献
为了打破基于流程库的流程建模推荐方法中路径和图结构的限制,为建模者从流程库中提取更多有用的推荐信息,进而辅助建模者建立更高质量的业务流程模型,提出了一种基于行为轮廓定义业务目标实现规则的流程建模推荐方法。首先,通过业务陈述制定用于形式化及抽象化表达业务交互规则的目标轮廓矩阵;接着,通过其与行为轮廓矩阵集中全部行为轮廓矩阵的比对,找出流程库中所有满足目标轮廓矩阵的流程作为候选流程集;最后,通过行为轮
针对工业系统变量之间存在动态和相互关联特性导致关键变量预测精度降低问题,提出一种互信息深度堆叠稀疏自编码数据特征网络(Mutual Information- Deep Stack Sparse Auto-Encoder, MI-DSSAE)结合深度长短期记忆(Deep LSTM, DLSTM)预测模型。MI-DSSAE模型对稀疏编码器改进,采用堆叠稀疏编码器结构,引入互信息作为重构损失权重,对多个
以福建省为研究区,采用土地利用数据、夜间灯光遥感数据,并增加热红外遥感数据考虑地表温度信息,尝试实现第二、第三产业增加值的空间化。研究结果表明:相比于土地利用数据+夜间灯光遥感数据方法,本文方法构建的第二、第三产业增加值空间化模型(R~(2)分别为0.966、0.870)均优于前者(R分别为0.743、0.776),平均相对误差(MRE)分别约20.45%和19.82%,也均显著优于前者(72.6
在非典型植胶区,合理的人为管理措施在保证天然橡胶稳产高产方面发挥重要作用。而掌握土壤化学肥力状况是实施合理人为管理措施的前提。本研究采用主成分分析方法结合海南省主要植胶市县144份土壤样品数据,并以其中的土壤pH值、有机质、全氮、速效磷和速效钾5项因子为评价指标对胶园土壤化学肥力进行评价与分析。结果表明:(1)主要植胶市县土壤化学肥力综合得分IFI范围为-9.08~16.79,依据综合得分结合wa
针对内存数据在攻击行为发生后会发生改变,而传统完整性度量系统使用基准值度量方法存在检测率低、灵活性不足等问题,提出一种基于多BP神经网络的内存组合特征分类方法,将内存数据通过度量对象提取算法提取特征值,分别使用不同的BP神经网络进行训练,然后再通过一个BP神经网络进行汇总,得到操作系统安全状况评分。该方法与传统使用基准值的完整性度量方法相比,检测准确率与普适性有较大提升。并且通过实验结果表明,多B
软件定义网络(Software Defined Work, SDN)中,流表项是由控制器创建并指导交换机处理数据包的转发规则。但流表项保存在交换机的内存并有一定的超时时间,会影响SDN控制通道的带宽消耗、交换机的内存消耗、及系统资源和性能的管理。针对现有SDN性能优化方案大多为单一目标优化,未考虑流表项超时类型和时间对不同优化目标的影响,提出一种基于流表项动态混合超时的多目标优化方案,对大象流的侦
针对人工设计机场进场程序耗时较长且很难定量优化路径长度的问题,提出了多条进场程序的三维自动优化设计方法。首先,根据区域导航规范对进场程序的几何构型及汇聚结构进行建模;然后,综合考虑机场布局及障碍物规避、航路间隔等航空器运行约束,以最小化进场程序总长度为目标,建立完整的数学模型;最后,开发了基于模拟退火算法和改进A*算法的混合算法,对进场程序的汇聚结构进行自动优化设计;仿真表明,在瑞典阿兰达机场的实
针对越南场景文字检测训练数据缺乏及越南文字声调符号检测不全的问题,在改进的实例分割网络Mask R-CNN的基础上,提出一种针对越南场景文字的检测算法。为了准确地分割带声调符号的越南场景文本,该算法仅使用高分辨率的P2特征层来分割文本区域,并将文本区域的掩码矩阵大小从14×14调整为14×28以更好地适应文字区域的横纵比。针对存在用常规非极大值抑制算法不能剔除重复文本检测框的问题,设计了一个针对文
海关商品申报场景下,需采用分类模型将商品归类为统一的海关(HS)编码。但现有海关商品分类模型忽略了待分类文本中词语的位置信息,同时HS编码数以万计,会导致类别向量稀疏、模型收敛速度慢等问题。针对上述问题,结合真实业务场景下人工逐层多次归类策略,充分利用HS编码的层次结构特点,提出了一种基于层级多任务BERT(HMBERT)分类模型。一方面通过BERT模型的动态词向量获取了报关商品文本中的位置信息,
雾霾天气下拍摄收集的图像和视频能见度低,图像质量大幅下降,影响目标检测等高级计算机视觉任务检测精度。目前暗通道、DehazeNet、AOD-Net等去雾方法存在有雾残留、色差较大等问题。为解决以上问题,提出基于条件生成对抗网络(CGAN)的图像去雾方法——CGAN-dense。其生成器设计密集块结构以增加特征利用率,提高去雾细节保持效果;判别器使用34×34的PatchGAN进行分块判定,优化图像