藏语分词与词性标注研究

被引量 : 27次 | 上传用户:zhangrong825
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
藏语信息处理技术经过二十多年的发展,无论是在藏文信息处理研究及其相关标准制定方面,还是在藏语信息处理应用开发方面,都取得了不少成绩。藏语信息处理技术也逐步迈入到语言信息处理层面。虽然藏语信息处理研究在技术上紧跟着英汉语等之后,但作为信息处理研究基础的语料资源相对贫乏。公开的藏语语料库都是未标注的生语料库,其应用价值非常有限。由于对藏语的本体研究不够深入,许多对藏语信息处理有价值的属性未能挖掘和描述出来,因而限制了藏语信息处理技术的发展和应用范围。针对以上问题,本文采用了多种统计模型和方法来进行藏语分词和词性标注研究,并取得了以下几个方面的主要成果:一、提出了基于词位的藏语分词方法,在国内外较早地将藏语黏写形式的特征融合到藏语分词研究当中。我们采用了基于词位的统计方法来处理藏语分词问题,将藏语分词转化为序列标注问题,实现了一个藏语分词系统。该系统采用条件随机场模型,针对藏语黏写形式的语法特征,将汉语分词中常用的四词位标签集改进为更适合藏语特点的六词位标签集,并使用100万余经人工反复校对的语料对模型进行训练。经实验测试,在大规模真实语料的测试中,系统的开放测试F值达到了91%,分词性能基本上令人满意。在进一步的研究中,我们经分析发现分词精度主要受到了藏语黏写形式识别结果的限制。考虑到黏写形式的复杂多样,我们在总结前人的研究成果的基础上,加入了基于规则的后处理环节,最终的测试结果F值达到了95%以上,已能满足藏语语料库建设的实际需求。二、在藏语分词研究的基础上,根据藏族人名特征探讨了藏语人名识别方法。通过研究藏语人名的特点,我们总结了藏语人名识别的多种策略并最终选择了基于统计的方法来实现藏语人名的识别。我们基于条件随机场模型,通过使用名字边界、前后缀、上下文等特征,给出了藏文人名识别的一种方法。最终实验系统在开放测试中取得的F值达到了91.26%。虽然未能进一步发掘名字与普通词语同形这一极易导致歧义现象的特征,导致系统识别性能未能达到十分理想的效果,但可以通过对特征标签集进行调整,同时优化特征模板集,进一步提高识别效果。三、综合使用了多种统计模型实现了藏语词性标注研究,在国内外首次采用最大熵结合条件随机场模型实现了藏语的词性标注方法。通过对藏语词性的研究,在满足基本的词法分析的需求下,我们将藏语词类标记集精简到统计模型切实可用的规模,然后选择最大熵模型构建了一个藏语词性标注系统,并采用小规模的语料进行训练。实验结果显示,在小规模语料训练下,基于最大熵的词性标注系统达到了87.76%的准确率,已基本接近词法分析可用的要求。在最大熵模型的基础上,我们提出了基于条件随机场的修正模型。该模型在最大熵模型的输出结果上进行训练,从而可以将最大熵模型中次优结果和再次优结果中的正确标注挑选出来,提高词性标注的准确率。实验证明,采用同样规模的训练语料和测试语料,最大熵结合条件随机场的词性标注模型达到了89.12%的准确率,已接近同类汉语词性标注系统的水平。四、实现了一种基于条件随机场的藏语分词标注一体化模型,将分词和词性标注整合到一个统一的系统中,为藏语词法分析提供了新的解决途径。我们充分利用了分词与词性标注间更深层次的依赖关系,在一体化模型中利用词性信息来处于分词过程中遇到的歧义问题。在较小的训练语料规模下,藏语分词标注一体化模型在开放测试中分词结果的F值达到了89.0%,这表明一体化模型将词位信息和所属词的词性信息很好的结合起来,能更有效的提高分词精度,其分词效果已基本可以满足语料库对自动分词的需求。一体化模型的词性标注准确率也达到了85.35%,虽然还稍稍落后于独立的词性标注模型,但通过扩大模型的训练语料规模,词性标注性能应该可以取得一定程度的提升。
其他文献
我国民事再审检察监督,是检察权对审判权进行有效监督的重要体现。2012年民事诉讼法的修改和《人民检察院民事诉讼监督规则(试行)》的发布,为我国民事再审检察监督制度的发展
心理学的信任研究是现代信任研究的逻辑起点。这一研究更多地是依照心理学的传统范式,以微观社会个体的心理为基础,从人的个性特点入手,将信任理解为个人的心理事件、个人的
近些年来,世界各国都在不同程度地推行教育体制改革,致力于保障每个学生平等地享有受教育权利,融合教育在世界各国得到大力推广。英国和美国作为世界上较早推行融合教育的国家,已
在燃气管网运行管理当中,对燃气管网中泄漏出来的燃气能够快速发现,并及时加以解决是管网运行管理的关键。激光检测系统能够在燃气泄漏初期,及时、快速、准确的查找出漏气位置,这
林业既是一项重要的基础产业,也是一项重要的公益事业,在我国国民经济和社会发展中占有十分重要的地位。湖南是一个林业资源特别丰富的省份,境内森林景观丰富,动植物资源种类繁多
目的探讨糖尿病足患者实施护理干预的效果。方法选取该科2014年7月—2016年7月收治的糖尿病足患者126例,随机分为2组各63例,对照组给予常规护理,观察组在对照组的基础上给予
介绍了道路嵌缝材料及其性能要求,分析了道路用聚硫、聚氨酯、硅酮密封胶的优缺点,比较了道路用硅酮密封胶与门窗幕墙用胶的异同点,并简要介绍了道路用硅酮密封胶工程应用的
<正>0 引言急诊科的工作环境、性质较为独特,具有突发性、多变性、复杂性等特点,有人把医院急诊科比喻为火山地带,那么急诊科的白衣天使就是在火山口勇敢工作的人;有人把疾病
期刊
对朱熹的研究,大都关注的是其对理学的继承与集成。但是,有一个重要的问题,被众多研究者忽略了,这就是朱熹对中医的继承与贡献。朱熹深通医理药理,论证问题时处处以医理药理为依据