【摘 要】
：
为提高新词提取的准确率,根据新词在时间上的性质引入时间频率函数值特征,提出自动阈值获取算法。针对高处理效率特性,基于Spark平台对海量语料库中新词提取方案进行研究,提
【基金项目】
：
上海市科技行动计划基金项目（15511106900）,上海市智慧城市建设基金项目（2015年1月至2016年12月）,上海市信息化发展资金基金项目（XX-XXFZ-05-16-0139）
论文部分内容阅读
为提高新词提取的准确率,根据新词在时间上的性质引入时间频率函数值特征,提出自动阈值获取算法。针对高处理效率特性,基于Spark平台对海量语料库中新词提取方案进行研究,提出一种分布式新词提取方案。对文本预处理,统计文本中字串的特征值如互信息、上下文信息熵、时间频率函数值等,建立巨大的领域及时间相关的结构化数据库,通过阈值及背景词库的过滤实现新词提取,将提取的新词添加到背景词中。实验结果表明,该算法具有较高的准确率,在大规模语料库处理效率上相比传统方法有了大幅提升。
其他文献
通过综述太极拳运动对脊柱的保健和康复的相关研究，了解到太极拳的运动特点与运动形式对保持脊柱不变形、不萎缩和延缓脊柱退变有着重要的研究意义。拳谚有云：“天柱不倒，老树长
以玉米自交系C7-2为供体、lx9801为受体所构建的一批含有杂种优势位点的单片段代换系10su076-3为材料,利用供体染色体片段（C7-2）两端的纯合分子标记对单片段代换系与轮回亲本lx
当前彩图加密算法都是对其R、G、B分量进行独立加密，属于多通道加密机制，增大了传输延迟；而现有单通道彩图加密算法主要采取频谱切割与压缩思想，忽略了图像高频成分，易产生较大失
<正> 正阳三黄鸡是河南省著名的地方品种,以肉味鲜美,肉质细嫩而驰名中外。目前,三黄鸡在我区推广利用已列入省农科系统重点课题。我们于1987年在信阳地区农科所对正阳三黄鸡
美术鉴赏是人们根据自身的审美对艺术作品的赏析与评价，作为一种审美活动，美术鉴赏能力的高低取决于鉴赏者自身的知识修养、情感经历、审美水平和认知能力。美术鉴赏作为一项重
律师行业不正当竞争行为不仅仅关系到法律服务市场秩序的规范问题，还在一定层面上与我国依法治国的战略目标的实现息息相关，本文主要从不正当竞争的成因、表现形式、防范措施三
无论哪个国家都面临中低收入居民住房困难问题，这是市场无法解决的，必须由政府干预或参与来解决。为了保障居民的基本居住需要，政府帮助中低收入群体解决住房问题而采取的政策就
随着世界经济的发展，许多国家和沿海地区把海洋经济当作重要的战略方向。2011年6月30日，浙江省舟山市成为了国务院首批以海洋经济为主题的国家战略层面的新区。本文基于2007年
本文以2011-2012年北京体育大学篮球联赛中若干个后卫队员的表现为研究对象。通过观察比较，统计相关数据，分别对各队后卫队员的个人球技、随机应变能力与进攻、组织能力进行观
本文分析了时下国内学生评价存在的问题，提出了多元智能理论。并就多元智能理论对学生评价的启示分别从评价标准、评价主体、评价目的、评价内容、评价方法等五个方面进行了阐