【摘 要】
：
深度学习模型应用于自然语言处理任务时依赖大型、高质量的人工标注数据集。为降低深度学习模型对大型数据集的依赖,提出一种基于BERT的中文科技自然语言处理预训练模型ALICE
【机 构】
：
中国电子科技集团公司第三十二研究所
论文部分内容阅读
深度学习模型应用于自然语言处理任务时依赖大型、高质量的人工标注数据集。为降低深度学习模型对大型数据集的依赖,提出一种基于BERT的中文科技自然语言处理预训练模型ALICE。通过对遮罩语言模型进行改进并将其与命名实体级遮罩相结合,改善基础模型在下游任务中的表现,使其学习到的语言表征更贴合中文的语言特性。实验结果表明,与BERT模型相比,ALICE模型对于中文科技文本的分类准确率和命名实体识别的F1值分别提高1.2%和0.8%。
其他文献
炭／炭（C／C）复合材料抗氧化温度低，不适合用于飞机刹车盘。将5％，10％，15％，20％硼（B）或碳化硼（B4C）粉末掺入由45％Na28407·10H2O，20％SiC，15％CaSO4·2H2O，10％SiO2，10％Al2O3和水组成的抗氧化剂中，制成
为了满足项目中对导航系统的小型化、低成本以及高精度等要求,设计了基于DSP和ARM构成的车载双核嵌入式导航计算机系统。采用DSP作为导航解算计算机,完成导航数据的快速融合
大型滑坡滑带土强度参数的正确选取，是作好滑坡稳定性评价和抗滑工程设计的重要环节。本文在现场调研和室内试验基础上，揭示了只要具有一定滑体厚度的滑带土，沿滑面具有强度再生
通过对短纤维预浸料模压工艺过程中的加压温度及压制压力工艺参数研究，探讨短纤维预制体的制造工艺。结果表明：在加压温度为130℃及10MPa的压制压力下，制备的MD-90飞机刹车盘用
近年来,烟草工业物流费用明显下降,但仍有较大潜力可挖。实现物流成本的有效控制,前提条件是要构建科学合理的物流作业中心,明晰物流费用构成,做到记清、记全、记准物流费用,
冷战的结束为拥有大量可利用能源的在苏联解体后独立的国家和能源需求不断增加的欧洲各国提供了良好的合作契机,在此背景下ECT应运而生。作为能源领域的第一个国际条约,为了
2014年12月,李克强总理访问哈萨克斯坦期间,与哈萨克斯坦领导人共同提出了开展中哈产能与投资合作的倡议,揭开了两国开展产能合作的序幕。在两国领导人高度关注和直接推动下,
During the last 20 years, the theory of multiple intelligences has given great impetus to education. The author of this article asserts that the theory is appli
根据K9光学玻璃的物理化学特性,在干式化学机械磨削（chemical-mechanical grinding,CMG）的基础上,用超声雾化方法产生Na HCO3雾化液参与磨削,研制了适合湿式CMG的磨具,对K9光学