基于半监督学习的中文短文本分类研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:gj1019
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着即时通信和互联网技术的快速发展,网络中的信息每天都在以一定的速率增长着,生活中最常见的就是如:网络新闻、微博及其评论、聊天记录、手机短消息、科技文献摘要、搜索引擎返回的结果和社区论坛中的发帖回复等形式的短文本信息,这类文本通常都控制在160个字左右,存在的种类样式繁多,而且经常以口语化、生活化的不规则形式出现。特征词较少、关联性不强是这类短文本的主要特点,并且其中可能隐匿着一些有价值的信息内容,因而对短文本进行有效的组织分类是非常有必要的。传统的文本分类方法大多是以长文本作为对象进行研究的,如果直接套用于短文本将会影响分类取得的效果。另外,通常用于构建传统文本分类器的已标注样本是需要由人工进行标注才能获得的,既费时又费力,还易形成标注瓶颈,而相比之下,数量颇为丰富的未经标注样本的获取与搜集却是较为容易的。传统基于监督学习的分类方法,仅仅是使用了数据样本集合中的已标注部分,并没有注意到其中未标注样本的存在价值,未能较好地挖掘出可能隐藏的信息。而半监督学习的方法则是可以将少量的已标注样本与大量的未经标注样本相结合起来进行学习训练,从而使未标注部分能被充分地利用,文本分类器性能得到有效地改善,因此这样的方法也逐渐地被人们所关注。考虑到短文本不同于长文本的特点,再加上参考了已有的相关研究成果,本文在现有的分类算法基础上,将半监督学习的思想贯穿到短文本分类的过程当中,改进地使用维基百科对短文本进行特征扩展,提出一种基于半监督学习的文本分类方法,用于实现对短文本的有效分类。该方法通过使用外部知识资源库构建的特征词扩展表对短文本进行信息扩充以解决特征稀疏等问题,然后构建基于监督学习的初始中间过程的分类器,不断地迭代训练数据样本中未标注部分,再用更新过的训练样本集来构建最终的文本分类器,通过实验验证了该方法能够达到充分利用大量未标注样本来改善分类器性能的目的。另外,为了解决传统基于向量空间模型构建短文本分类器时造成的文本结构信息的缺失以及大量样本存在的标注瓶颈问题,提出了一种利用图结构模型进行半监督文本分类的方法,将数量规模较大的未标注样本与少量的已标注样本相结合进行基于图结构的自学习,进行基于最大公共子图的相似度计算,保留了短文本的结构关联关系,通过对未标注样本的自学习来实现训练样本集的扩充。最后经对比实验表明,这种方法能够获得较好的分类效果。
其他文献
随着经济全球化的发展趋势,英语作为国际通用语言,发挥着越来越重要的作用。作为一名高中英语教师,把握英语教学的实质,提高英语教学质量,促进学生英语实践能力的提高是首先
摘 要:本文就市政道路工程施工中,工程质量和施工准备工作以及市政道路施工工艺等进行探讨。  关键词:市政道路;施工;措施  一、工程施工材料质量  市场上各种材料销售名目繁多,质量参差不齐,在材料的选择上要严格把关,要选择有国家认证合格的生产许可企业,社会信誉度高,有技术检验的生产厂家。对所选用的原材料、构配件、成品、半成品、设备等必须有出厂质量合格证书、出厂检验报告,并且注明使用工程项目的名称、
摘 要:《语文课程标准》提出:“语文是工具性和人文性的统一。而语文是最重要的交际工具,应当培养学生具有日常口语交际的基本能力,在各种交际活动中,学会倾听、表达与交流,初步学会文明地进行人际沟通和社会交往,发展合作精神。”口语交际是人们运用口头语言进行交谈、辩论等的一种言语交际活动,具备直接、简便、迅速的特点,使用最多最广,是最基本的语言信息交流手段。可见口语交际能力是现代公民的必备能力。怎样才能使
三门绿毫茶叶专业合作社于2000年成立,坐落在浙江省三门县亭旁镇的坝头办事处.合作社充分利用当地山地资源丰富,生态环境优越的自然条件,积极开发以太师峰牌绿毫茶为主体的名
20世纪80年代以来,新兴市场经济国家爆发了数次较大的货币危机,并造成了巨大的经济损失,甚至造成世界性经济动荡。研究表明,近几年全球范围内相继爆发的墨西哥金融危机、东南
<正>进入90年代以来,瑞士零售市场一直处于停滞状态.个人消费总额自1992年起几乎没有增长,1996年甚至比上年减少了10亿瑞士法郎.零售市场不景气的背景是就业率下降,如1997年
目前信用风险是当前银行风险管理的重点。信用风险转移是进行有效信用风险管理重要手段。信用衍生品作为新出现的信用风险转移工具是信用风险管理发展到一定阶段的产物,目的
教学内容:教科版三下语文快乐读书屋四《古诗两首》其一《元日》。教学目标:1、能正确、流利、有感情地朗读古诗,背诵古诗;2、了解诗句意思,感受元日的喜庆场面,体会诗人的情
摘 要:“社会指导”是杜威在論述其教育思想时提出的一个基本概念,是其教育思想的基础。“教育即生长”是以社会指导为基础的,儿童要在社会活动中接受社会的指导,才能实现自身的生长。生长有两方面含义,一是心智的发展,二是人的社会化。这两方面都是在社会的指导下实现的。心智的发展主要体现在儿童的教育上,人的社会化则更多地体现在人们的生活、工作中。心智的发展和人的社会化是同一个过程的两个方面,而这个过程最终的目