切换导航
文档转换
企业服务
Action
Another action
Something else here
Separated link
One more separated link
vip购买
不 限
期刊论文
硕博论文
会议论文
报 纸
英文论文
全文
主题
作者
摘要
关键词
搜索
您的位置
首页
期刊论文
现代汉语计算语言模型中语言单位的频度—频级关系
现代汉语计算语言模型中语言单位的频度—频级关系
来源 :中文信息学报 | 被引量 : 0次 | 上传用户:Aslaen
【摘 要】
:
Zipf定律是一个反映英文单词词频分布情况的普适性统计规律。我们通过实验发现,在现代汉语的字,词、二元对等等语言单位上,其频度与频级的关系,也近似地遵循Zipf定律,说明了Zipf定律对于汉语的
【作 者】
:
关毅
王晓龙
【机 构】
:
哈尔滨工业大学计算机系自然语言理解研究室
【出 处】
:
中文信息学报
【发表日期】
:
1999年2期
【关键词】
:
语言单位
汉语
计算语言模型
频度-频级关系
Zipf's lawChinese character frequencyChinese word fre
【基金项目】
:
国家八六三项目资助
下载到本地 , 更方便阅读
下载此文
赞助VIP
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Zipf定律是一个反映英文单词词频分布情况的普适性统计规律。我们通过实验发现,在现代汉语的字,词、二元对等等语言单位上,其频度与频级的关系,也近似地遵循Zipf定律,说明了Zipf定律对于汉语的不同层次的语言单位也是普遍适用的。
其他文献
文档中词语权重计算方法的改进
文本的形式化表示一直是文本检索、自动文摘和搜索引擎等信息检索领域关注的基础性问题。向量空间模型(Vector Space Model)中的tf.idf文本表示是该领域里得到广泛应用并且取得较好效果的一种文本表
期刊
文本表示
向量空间模型
词语分布比例
信息增益
text representation
Vector Space Model
Information Gain
公有制企业实行模拟股份制的优越性
股份制是适应社会化大生产条件、符合现代企业需要的资本组织形式,股份合作制是适应社会主义市场经济要求、符合社会主义初级阶段生产力发展水平的企业组织形式。对国有大中
期刊
模拟股份制
公有制企业
股份制企业
企业经营者
股份合作制企业
企业组织形式
优越性
企业员工
资本所有者
公有制实现形式
基于边界点词性特征统计的韵律短语切分
由于基于规则方法的文本处理系统在系统建立时需要总结大量的规则 ,而且很难保证它在处理大规模真实文本时的强壮性 ,因此本文在使用统计方法进行韵律短语切分方面做了一些有益的探索。先对文本进行自动分词和自动词性标注 ,然后利用从已经经过人工标注的语料库中得到的韵律短语切分点的边界模式以及概率信息 ,对文本中的韵律短语切分点进行自动预测 ,最后利用规则进行适当的纠错。通过对一千句的真实文本进行封闭和开放测
期刊
韵律短语切分
自动词性标注
语料库
统计方法
自动分词
边界点词性
文本处理系统
prosodic phrasing
part-of-speech taggin
红花英雄
<正>~~
期刊
英雄
红花
孔繁森
新朝
火炬
花红
磁石
雷锋
私心
繁荣
赤脚走在田野上
<正>~~
期刊
田野
竹笠
头心
五谷
谷头
脚印
清明
红树
头枕
一种在线递增式语言模型自适应方法
本文针对传统统计语言模型的离线自适应方法 ,提出了一种在线实时的递增式自适应方法。该自适应方法需要解决几个问题。第一是要设计一种语言模型结构以适应在线的自适应 ;第二是如何利用在线收集到的语料对语言模型进行实时的参数修改 ;在我们设计的中文音转字平台中 ,将语言模型分成两个部分 ,分别是通用模型和用户模型。对于通用模型 ,采用高效的存储结构结合参数预取技术 ,提高了模型的速度 ;对于用户模型 ,使
期刊
统计语言模型
N-GRAM
自适应
语音识别
stochastic language model
N-gram
adaptation
speech rec
日本半导体工业的中期规划(上)
介绍了日本半导体工业的现状及电子设备的进步对未来半导体的要求和半导体技术发展趋势。
期刊
半导体工业
日本
规划
Semiconductor Performance Additional value Memory Processor Techniqu
Java文件编码问题浅析
主要介绍Java的文件操作中不同字符编码方式之间的关系,分析为什么会出现文件的乱码问题,并详细说明如何解决.
期刊
JAVA
字符编码
乱码
浅议文件管理中心的工作及其改进方向
简要介绍了文件管理中心的文件控制方法及未来的改进方向。
期刊
文件管理
企业管理
技术管理
Document management Improvement
长虹牌C2162型彩电故障检修15例
期刊
彩电
故障检修
长虹牌
C216型
与本文相关的学术论文