中文分词及词性标注中领域自适应的研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:ken331
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在自然语言处理领域,中文分词和词性标注是其它中文信息处理任务的前提和基础,而基于统计机器学习的中文分词及词性标注方法以其良好的性能成为主流的技术之一。然而,研究发现,当训练语料和测试语料的性质(如文体、规模大小、分词标准等)不相同时,以大规模语料为基础的统计机器学习方法的性能会大大降低。为此,人们提出了领域自适应技术,它能够有效解决训练语料和测试语料因性质的不同而造成分词及词性标注正确率下降的问题。   本文首先介绍了课题研究背景、国内外研究现状和课题研究意义,然后详细论述了领域自适应技术中用到的统计语言模型条件随机场CRFs以及领域不相适应的因素,并总结了目前已有的几种具有代表性的领域自适应算法,同时对各种算法进行了分析、研究和比较。   接着,针对中文分词中的领域自适应问题,做了如下工作:首先对中文分词作了简要概述,然后在现有算法的基础上,根据数据标记边缘概率,本文提出了基于标记转换的领域自适应算法,利用少量已标记测试语料中的语言信息对训练语料中的数据标记进行相应的转换,使获得的训练模型能够较好的适应测试语料。实验结果表明,该算法能够有效的提高中文分词的性能。同时,对现有算法进行改进,提出了基于改进的数据加权的领域自适应方法,通过设定一个门限值来提取未标记测试语料中的候选词,对其数据加权后进行中文分词。实验结果表明,该方法也是一种能够提高中文分词正确率的有效途径。在上述两种算法的基础上,本文设计了基于标记转换和改进的数据加权的联合算法,通过把两种算法有效的结合起来进行中文分词。实验结果表明,该算法能够有效的提高分词的正确率。   最后,针对词性标注中的领域自适应问题,做了如下工作:首先对词性标注做了简要概述,然后利用少量已标记测试语料中的信息,使用基于数据加权的领域自适应算法对词性标注进行了分析和研究。实验结果表明,相比只注重从训练语料中获得语言信息的方法,从测试语料中获取信息的方法更有助于词性标注正确率的提高。
其他文献
帕金森病(Parkinson’s disease, PD)是一种神经性系统变性疾病,患病者多为中老年人群,该病主要的症状有静止性震颤、肌僵直、运动迟缓和步态障碍,其中步态障碍表现为下肢活
量子信息学是一门新兴的交叉学科,它在信息领域中有着独特的功能,在提高运算速度、确保信息安全、增大信息容量和提高检测精度等方面可突破现有经典信息系统的极限。特别是近年
进入大数据时代,数据量呈指数式爆炸增长。相比于纵向扩展单机的处理性能和存储容量,采用分布式服务器架构来进行数据的存储和检索是一种更经济和更易实现的解决方案。Hbase就
无线传感器网络(Wireless Sensor Networks,WSNs)由大量具有感知、存储和处理数据功能的传感器节点组成,在诸多领域均有广泛的应用。广播通信作为无线传感器网络中一种必要而又频
网络与数字技术的高速发展给人们生活带来便捷的同时,也带来了冲突。数字化产品易于被篡改、复制和传播的特点严重冲击了版权保护。数字指纹技术孕育而生,成为版权保护的一个
工业无线网络技术是满足工业应用高可靠、低能耗、硬实时等特殊应用需求的一类无线传感器网络技术。工业无线网络相比于传统的工业有线通信方式,拥有低成本、高可靠、易维护
多媒体检索一直是计算机视觉领域的研究重点和难点,传统的多媒体检索方法往往关注于单一模态内的数据检索,如文本检索和图像检索。近年来,随着不同类型的多媒体数据的增加,如
随着道路环境的改善和汽车保有量的增加,汽车给我们的生产、生活带来了极大的便利和巨大的经济效益。同时,交通事故所造成的人身伤害和经济损失也不容忽视。因此,人们在不断
随着当前社会的信息化、数字化、网络化的飞速发展,生物认证技术成为保障信息安全的一种重要手段。手指静脉网络与其它生物特征认证方式相比,具有不易受日常损伤、成像不易形
本文以傅立叶光学空间频谱分析原理为基础,根据衍射理论,阐述了激光衍射测量微细线直径的方法,确定了有限尺寸的单色平行照明光场内细线衍射光强与细线直径之间的关系计算公式。