【摘 要】
：
近年来,深度学习技术得到了快速发展。在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型
【基金项目】
：
国家自然科学基金资助项目（62006240）
论文部分内容阅读
近年来,深度学习技术得到了快速发展。在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。首先,根据文本特征提取技术的发展,从词级和文档级对典型的模型进行了分析;其次,从预训练目标任务和下游应用两个阶段,分析了当前预训练模型的研究现状,并对代表性的模型特点进行了梳理和归纳;最后,总结了当前预训练模型发展所面临的主要挑战并提出了对未来的展望。
其他文献
“十三五”期间，我国与环境相关的多项能源指标达到预期，大气环境质量改善，温室气体排放得到有效控制。淘汰落后产能、重点行业超低排放、清洁取暖、“公转铁”等绿色交通以及绿
HACCP制度是餐饮业执行的一种新卫生管理制度,即“危害分析重点管理制度(Hazard Analysis Critical Control Points.缩写为HACCP)”。 HACCP是由美国为制造百分之百安全的太
探讨了产业扶贫参与主体及其影响因素的互动关系,阐释了产业扶贫促进乡村振兴的机理,在此基础上剖析了非特色型产业扶贫案例--德青源金鸡产业扶贫模式,总结了相关扶贫经验及其对乡村振兴的启示。结果表明:(1)产业扶贫通常涉及政府、企业、被帮扶农户、金融机构/投资管理平台、科研机构等多个参与主体,其发展模式受社会、经济、地理、政策等外部因素的影响;产业扶贫能够有效整合当地社会、经济、文化、自然、生态、人口等资源,推动实现乡村产业、文化、组织、生态和人才振兴。(2)德青源金鸡项目以蛋鸡产业为抓手,构建了金融资本和龙头
《中国制造2025》,是我国实施制造强国战略第一个十年的行动纲领。《中国制造2025》将数控机床与基础制造装备列为“加快突破的战略必争领域”。提出到2020年,高档数控机床与
在2019活力古吉拉特邦全球峰会前夕,巴斯夫与印度阿达尼集团(Adani)就评估共同投资丙烯酸价值链签署了谅解备忘录。这将是巴斯夫在印度的最大投资项目,地点位于印度古吉拉特
本文基于内蒙古兴安盟8个气象观测站1973～2017年的逐日降水量、气温、日照时数、风速、水汽压等要素,选用国家标准中相对湿润度指数,采用趋势系数、反距离加权插值法和M-K突变
为帮助客户应对日益严格的排放法规,德国材料制造商科思创宣布,已斥资数百万人民币,在其上海聚合物科研开发中心（PRDC）建立挥发性有机化合物（VOC）测试实验室,以进一步拓展服务能
高中思想政治教材的编写是一个循序渐进、不断精细的过程。坚定党的政治理念、紧跟时代发展的潮流、渗透党的方针理念和融入学生的日常生活是实现与党的方针政策对接的四大特
位于奥地利Kottingbrunn的威猛巴顿菲尔公司与位于德国Mosbach的MPDVMikmlab公司，目前在销售MPDVMikrolab公司的MES软件HYDRA方面展开了合作。
中国机械工业联合会执行副会长蔡惟慈指出，当前，由于市场低迷，竞争加剧，效益水平降低，行业经济运行中出现了一些值得警惕的倾向。