一种基于海量语料的网络热点新词识别方法

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:c1061088
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于海量语料的热点新词识别是汉语自动处理领域的一项基础性课题,因要求快速处理大规模语料,且在新词检测中需要更多智力因素,在研究中存在较多困难。构建了一个基于海量语料的网络热点新词识别框架,整合了所提出的基于逐层剪枝算法的重复模式提取,基于统计学习模型的新词检测及基于组合特征的新词词性猜测等3个重要算法,用以提高新词识别的处理能力和识别效果。实验和数据分析表明,该框架能高效可靠地从大规模语料中提取重复模式,构造候选新词集合,并能有效实施新词检测和新词属性识别任务,处理效果达到了目前的较好水平。
其他文献
降维空时自适应处理和降秩空时自适应处理均需要已知杂波协方差矩阵,或者通过参考单元对杂波协方差矩阵进行估计,在非均匀杂波环境中无法获取足够多的有效样本,使得算法性能
成年人特发性局灶节段性肾小球硬化(FSGS)是原发性肾小球肾炎的常见病理类型之一,40%的成年人肾病综合征患者中40%由FSGS所致,估测其发病率为7/100万,表现为肾病综合征的原发性FSGS患
随着西部大开发持续升温,中央和地方、省市自治区之间的交流考察活动越来越频繁。有专家将其归纳为“四种经济”,并告诫要警惕一些形式主义的东西。
作为芯片可靠性的重要课题之一,静电放电(ESD)得到了越来越多芯片设计人员和用户的重视。特别是在半导体工艺进入亚微米尺寸后,栅氧减薄,结深变浅。这些因素都导致芯片在ESD
民主与自由关系密切,但不能等同。实行民主是为了保障自由,但其本身也需要自由的辅助。公权利比私权利距离民主更近,它本身是代议制民主制度的一部分,民主选举、民主监督都不
<正>火电、钢铁、水泥等行业实施脱硝是为了减少氮氧化物等污染物的排放,避免形成臭氧、PM2.5和光化学烟雾等二次污染。废弃的脱硝催化剂属于危险废物,每年处理费用至少需1 0
目的:探究心率和心率变异性与心力衰竭及预后的相关性。方法:选择2016年10月—2017年10月于我院就诊的90例心力衰竭患者为观察组,与此同时另选30名健康人员为对照组,对两组人
通过分析数据库安全审计机制,提出一种基于旁路监听的数据库安全审计系统框架,并实现了针对Oracle数据库的安全审计系统。涉及Java网络抓包、TNS协议解析、SQL语法解析和数据库
针对证据分步合成问题,给出了多证据分步合成结果的一般表达式,对分步合成方法理论上的合理性以及合成结果的收敛性进行了研究。针对高度冲突证据的分步合成问题,提出一种将D
目前,随着新农村绿化工作在青海省的全面展开,经济发展与绿化建设也逐步提升,但由于青海省地处高海拔地区,地理位置特殊,自然条件恶劣,冬季寒冷、日照时间短,新农村绿化树种