【摘 要】
：
识别短文本的语言种类是社交媒体中自然语言处理的重要前提,也是一个挑战性热点课题.由于存在集外词和不同语种相同词汇干扰的问题,传统基于n-gram的短文本语种识别方法 (如T
【机 构】
：
北京科技大学计算机与通信工程学院,中国科学院自动化研究所数字内容技术与眼务研究中心
论文部分内容阅读
识别短文本的语言种类是社交媒体中自然语言处理的重要前提,也是一个挑战性热点课题.由于存在集外词和不同语种相同词汇干扰的问题,传统基于n-gram的短文本语种识别方法 (如Textcat、LIGA、log LIGA等)识别效果在不同的数据集上相差甚远,鲁棒性较差.本文提出了一种基于n-gram频率语种识别改进方法,根据训练数据不同特性,自动确定语言中特征词和共有词的权重,增强语种识别模型在不同数据集上的鲁棒性.实验结果证明了该方法的有效性.
其他文献
随着我国城市化进程的不断深入,从农村到城市的人口迁徙规模越来越多,在扩大城市规模的同时,也伴随着两点突出问题。其一,农村地区出现大量的闲置房屋,既占用土地又影响整体
目前农村不断向城市化发展,城市化发展的同时一些问题也变得越来越明显,尤其农村人口的养老问题。目前只有一些老、弱人员还留守在农村,他们没有去城市务工或者发展的技术和
以我国2014—2018年的A股上市公司为样本,基于信息技术行业的视角,从股权集中度、股权制衡度方面出发,研究股权结构对研发投入与企业绩效关系的调节效应。研究结果表明:研发
农村集体经济的发展是关乎乡村振兴的必要基石,也是了解一个地市农村经济的晴雨表,关心集体经济的发展,就是关心农民的发展。通过实地走访调查,发现开封市农村集体经济的发展
目的比较不同病理类型阑尾炎的临床特征及疗效。方法自2010年9月至2012年9月间接受手术治疗并术后病理证实的急性阑尾炎452例．依术中探查及术后病理结果分为单纯组（67例）、化脓
“互联网+”、大数据时代的到来及企业适应加剧的竞争需要,对企业会计提出了越来越高的要求。总结了信息技术变迁阶段,分析了“互联网+”时代会计变革发展趋势,提出保险企业
基于传统网络节点属性以及网络结构对智力资本转移的影响,研究非正式创新网络IIN所处环境中突发事件因素变量对高校、企业节点间智力资本转移的影响问题。探讨突发事件因素对
在《模型》课程的设计中,材料的选择、材质技法的表现以及作品效果的展示都是需要深思熟虑的。尤其是材料的选择与技法表现,都将直接影响最后作品的完成效果。
新会计制度为企业的财务管理工作指明了方向,为财务管理模式的改革发展提供了新的思路,但新会计制度的实施是一个不断完善的过程,其在推动财务管理进步的同时也给企业或组织
新闻媒体的快速发展,有利于上市企业与投资者之间信息互通,从而降低企业的股权融资成本。选取了中国沪深A股上市公司2012-2018年间的年度数据作为研究对象,使用OJN模型估算股