【摘 要】
：
针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型
【机 构】
：
南京邮电大学理学院,圣母大学心理学系
【基金项目】
：
南京邮电大学横向科研项目(2018外095)
论文部分内容阅读
针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。
其他文献
近日，宁波市下发《关于进一步加强物业管理和扶持物业服务业发展的若干意见》（简称《意见》）。根据《意见》，宁波市对物业小区管理中的野蛮装修、停车难等问题作了明确的规定
2015年11月25日，由《中国物业管理》杂志主办的2015“服务·社区·资本”论坛暨第十四届《中国物业管理》杂志协办年会在广东省东莞市召开。九三学社第十三届中央委员
福星智慧家物业服务有限公司，成立于2015年10月16日，系国内A股上市公司福星股份（股票代码：000926）控股子公司，注册资本高达五亿人民币。作为智慧社区生活服务平台企业，福星智慧家秉
多元发展,以规模促改变如果用一个简单词语形容卓达物业2014年的发展,那就是——任性。无论是发展社区电商,或是开展线上增值服务,亦或是打造智慧物业,这些转型的立足点必应
Based on the dynamic triaxial liquefaction test of the loess samples which are taken from Shibei tableland,Guyuan City,Ningxia,China,the characteristics of dyna
文章分析了社会体育专业人才培养过程中存在的问题,阐明了实施以创业为导向的社会体育专业人才培养模式的必要性,分别从创新创业教育与人才培养体系深度融合,以创业为导向的
导读 单位将原有ＶＭware 4.0升级到4.1版，操作过程中出现故障。查找相关资料得知，是升级包自身有问题。但我们已经安装了该升级包，该如何解决呢？
让布线这种无源系统在数据中心中发挥效用，就需要从绿色和智能两大要素进行规划，而美国康普近年发布的系列新品，包括SYSTIMAX 360新解决方案、SYSTIMAX GigaSPEED X10D万兆铜缆
基于翻译的表示学习模型TransE被提出后,研究者提出一系列模型对其进行改进和补充,如TransH、TransG、TransR等。然而,这类模型往往孤立学习三元组信息,忽略了实体和关系相关
谈到管理，我们第一感觉会想到管理第一是人文科学，其主体对象应该是对“人”的行为。“人”是社会时代的体现，不同的时代会产生不同的意识和价值观，对“人”的管理应具有很强的时