【摘 要】
:
左右熵在自然语言处理领域有着广泛应用,但目前尚无有效方法实施大规模语料中海量模式的左右熵快速计算。提出了一种计算方法,对于某长度字串计算熵,首先按长度提取语料中的
【机 构】
:
新疆师范大学计算机科学技术学院,中国科技大学计算机科学技术学院
【基金项目】
:
国家自然科学基金No.61040035, 新疆师范大学优秀青年教师科研启动基金项目(No.XJNU1011)致谢:实验中使用了搜狗实验室的大规模中文网络文本语料,并得到了倪剑莉老师的大力协助,在此表示感谢.
论文部分内容阅读
左右熵在自然语言处理领域有着广泛应用,但目前尚无有效方法实施大规模语料中海量模式的左右熵快速计算。提出了一种计算方法,对于某长度字串计算熵,首先按长度提取语料中的全部字串,使用外部排序和归并获取字串的出现频率,然后分别剔除首尾字符构造待计算字串的频率提供文件,最后使用文件记录频率对比来计算右熵和左熵。分析和实验表明,该方法的计算量同语料规模成线性关系,适于大规模语料中海量字串的左右熵计算。
其他文献
对苏万力等提出的无证书签名方案和张玉磊等提出的无证书签名方案进行了安全性分析,指出这两个方案在公钥替换攻击下是不安全的,分别给出了这两个方案的一种伪造攻击。提出了
帝人公司旗下子公司TohoTenax表示,计划在德国Wuppetal新建一条1700t/a碳纤维生产线,预计在2009年8月建成投产。该项目投资额为5100万欧元,届时TohoTenax公司在德国的碳纤维年产
低信噪比下,传统的小波去噪算法会造成语音信号中有用信息的损失,从而导致去噪性能的下降。针对这一问题,提出了一种基于清浊音分离的动态阈值小波去噪方法。采用谱减法去除部分
多音字消歧是普通话语音合成系统中字音转换模块的核心问题。选择了常见易错的33个多音字和24个多音词作为研究对象,构建了一个平均每个多音字(词)5000句的语料库,并且提出了—种
论罪名的层次林维罪名理论是刑法基本理论和司法实践中一个重要而复杂的问题,是刑法分则的最基本内容之一。研究罪名对于刑法分则体系及其具体规定的理解有着重大意义。学界对
在所有的摄影门类中,野生动物摄影对技术的要求可谓数一数二。你的拍摄对象可能很难收入画面,但参照专业摄影师给出的指导,相信你会找到正确的拍摄方法。
一谈到十八、十九世纪的俄国文学,人们的脑海中必然会闪过普希金、陀思妥耶夫斯基、托尔斯泰和他们那些闪动着智慧与情感火花的作品。而与他们同一时代的诗人丘特切夫却是在二
针对模块度存在的解限制问题,分析了复杂网络社区检测中一种新的测度模块密度。采用二分策略,通过最大化模块密度,提出了基于离散量子粒子群优化进行复杂网络社区检测的算法。通
使用三种简单易行的方法,让你的画面脱离阴影,重获光明。在拍摄高反差场景时,过于深沉的阴影以及大片没有细节的死黑区域总是让人很头疼,在被摄对象处于逆光位,对高光进行曝
说到印度,可能很多人脑海里的印象还是脏乱差,更对摄影师们的相机提出了不小的挑战。尽管如此,我们的旅行摄影师庞彦卓还是用他的镜头给我们带来了一个多姿多彩的美丽印度。