【摘 要】
：
目前命名实体识别技术已较为成熟,但由于仅有法律文书、电子病历等行业领域的数据集限制其应用泛化效果,而符合科协大数据分析需求的研究仍处于探索阶段。针对各级科协活动实体类型自动获取的问题,提出一种基于迁移学习的、具有BERT-Bi LSTM-CRF和ALBERT-Bi GRU-Attention-CRF两种模型的小样本数据集命名实体识别方法。首先,利用爬虫技术通过爬取全国各级科协官方网站科协活动数据构
【基金项目】
：
科技部科技评估中心项目（2020-06-22）“新时代全国科普教育基地运行成效和创新发展路径研究”；
论文部分内容阅读
目前命名实体识别技术已较为成熟,但由于仅有法律文书、电子病历等行业领域的数据集限制其应用泛化效果,而符合科协大数据分析需求的研究仍处于探索阶段。针对各级科协活动实体类型自动获取的问题,提出一种基于迁移学习的、具有BERT-Bi LSTM-CRF和ALBERT-Bi GRU-Attention-CRF两种模型的小样本数据集命名实体识别方法。首先,利用爬虫技术通过爬取全国各级科协官方网站科协活动数据构建小样本数据集;然后,选取不同的模型进行训练,对于算力资源充足的应用场景,采用基于转换器的双向编码表征、双向长短期记忆、条件随机场相结合的模型,利用参数量大的BERT模型生成字符向量,Bi LSTM学习全文特征,CRF对输出向量添加约束条件;而资源较少的场景,则采用轻量级ALBERT、双向门控循环单元、注意力机制、CRF相结合的模型,利用ALBERT代替BERT生成词嵌入向量,泛化能力较强的Bi GRU获取上下文特征,多头自注意力机制扩展对不同位置的关注度,CRF规范输出,最终得到标注序列结果。所构建小样本数据集测试实验结果表明,与Bi LSTM-CRF相比,BERT-Bi LSTM-CRF模型F1值提高了6.79%,与Bi GRU-CRF相比,ALBERT-Bi GRU-Attention-CRF模型F1值提高了1.30%,验证了所提出的方法的有效性;并进一步通过项目2015-2019年典型数据利用模型分析各类实体的识别结果,验证了所提出方法的可行性。因此,所提出方法在科协政策改革要点落实情况评估中,能够自动识别活动实体类型,减少人工参与度,提高处理效率,为科协政策研究信息化提供了方法支撑。该论文有图34幅,表16个,参考文献55篇。
其他文献
在2020年9月实施全国车险综合改革背景下,财产险公司特别是以车险业务为主的中小财险公司,在改革后一定时期内将会出现行业性承保亏损,大型财险公司承受亏损能力较中小财险公司强,中小财险公司因车险定价、服务能力稍弱带来较大经营压力。忠诚保险公司背靠汽车集团拥有丰富的经销商渠道业务资源和省市级实力雄厚的国有企业股东资源,但因盈利能力不足,承保一直处于亏损状态,随着行业增速放缓以及保险行业变革的深化,公司
为鉴定山东临沂某鸡场疑似传染性法氏囊病（infectious bursal dis-ease， IBD）病原，本文通过PCR及序列对比进行抗原鉴定及遗传进化分析，通过感染实验对其临床症状进行观察。测序结果显示分离病原为IBDV；使用相应引物扩增出IBDV全基因组并将其Seg A及Seg B与现存其他IBDV基因组进行序列比对及遗传进化分析，结果显示Seg A存在IBDV新型变异株特征性氨基酸位点2
2020年3月,新版的《证券法》正式施行。此次证券法修订的最大变化就是全面推行并实施注册制。2021年9月,北交所设立。北交所是继沪深交易所之后的第三个全国性证券交易所,其设立具有历史性意义,将进一步丰富资本市场层次,加强资本市场培育“专精特新”等优质中小企业进步、发展的能力,切实助力实体经济增长。证券公司本质上是资本市场的中介角色,所受影响不小于上市、融资企业受到的推动,应采取积极措施迎接证券法
经济金融全球化浪潮的背景下,吉林银行股份有限公司（以下简称:吉林银行）是一家传统的城市商业银行,自成立以来绝大部分利润来自于存贷差,由于信用良好,贷款渠道稳定,审核严谨,利率合理等优势,一直能为企业带来预期的利润。但由于近年来金融监管日趋增强,对资本流向限制日趋明显,比如2021年1月1日起生效的中国人民银行与中国银保监会共同发布的《关于建立银行业金融金融机构房地产贷款集中度管理制度的通知》中限制
本文研究高TcY-Ba-Cu氧化物超导样品中半导体相,把它与超导相的扫描X射线能谱相比较,发现半导体相缺钡。控制退火温度,气氛和偏析等手段,使含半导体相较多的样品表层Ba的比例接近超导相比例,在样品表层形成超导层,实现半导体相向超导相转变。
目前,全国社会餐饮零售额已经超过20000亿元,餐饮业已经成为第三产业的主要组成部分,是促进经济内循环发展的重要产业。但随着改革后,大批外资餐饮公司流入我国。一批较成熟的餐饮品牌,如“肯德基”、“麦当劳”等快餐品牌也相继成立。但近年来,中国国内餐饮发展得非常迅猛,也取得了傲人的成就。餐饮业主要在经营理念、运营管理模式、管理方式等方面都经历了不断的进化演变。现如今,餐饮业已经进入到了经营连锁化、业务
随着社会日新月异的发展,竞争日趋激烈的市场带来机遇与挑战。客户的个性化定制需求也越来越多,如何对客人的非标产品需求给出快速反馈,是为创公司现阶段重点考虑的内容。由于为创公司主要还是依赖人工来对应客户的询价,当务之急是要建立一套反应敏捷的报价系统,以防自身竞争优势被削弱,本文通过探讨为创公司报价流程体系的问题来入手,逐步来分析并解决该问题。文章从为创公司产品的特点入手,对其基本的要素、生产方式,同现
促进收入分配的合理化、实现共同富裕目标，需掌握我国居民收入分配的现状以及目前的税收制度在收入分配中的调节效应。立足于文献视角，分析整体居民以及城乡居民的收入差距，发现整体居民和城乡居民收入悬殊大，且城乡居民收入差距是构成我国居民收入差距大的主要原因。当前的税收制度对收入调节的效应较小，从直接税和间接税的角度出发，分析认为直接税占比不高、间接税具有逆向调节效应是造成整体税收调节收入分配职能未充分发挥
企业发展战略是一定时期内对企业发展方向、发展速度与质量、发展点及发展能力的重大选择、规划及策略,其目的在于解决企业的发展问题,实现企业快速、健康、持续发展。我国证券行业迈入而立之年,行业集中度提升、分化加剧,本文以我国老牌券商广发证券为案例,开展证券行业发展战略研究。一方面需运用战略管理方法、学习战略分析模型;另一方面因我国券商行业正年轻,需要借鉴国际老牌券商的发展路径;此外在我国坚持建设中国特色
中国经济高速发展,投资理财在居民生活中占据着越来越高的地位,高净值客户数量快速上升,成为金融市场的重大参与者,同时,高净值客户的客群分布、行业占比、社会环境也产生大幅变化。随着高净值客户在金融领域营销贡献度越来越大,各个银行都在向高端客户市场倾斜资源。不仅积极寻找适合自身发展的新方向,同时加速产品创新、紧跟节奏、改革求存,不断探索全球化背景下银行新零售业务的崛起与高净值客户维护新方式。本文主要以中