新闻网页摘要算法的研究及实现

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:fchbo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会发展进入互联网时代,人们获得信息的途径变得多种多样,越来越多的人依赖互联网来获取所需要的信息。与此同时,信息量的高速增长为用户在信息检索方面带来了困扰,面对海量的检索结果用户往往无法高效准确地获得需要的信息。为此,本文专门针对Web新闻自动摘要问题展开研究。本文分析了TextRank算法与融合文本特征的摘要算法存在的不足,提出了一种新的融合BM25与文本特征的新闻摘要算法,并针对五种不同的算法进行对比实验。最后,使用提出的新算法、基于Heritrix框架开发了一个Web新闻摘要系统。具体研究内容如下:本文首先介绍了本研究课题的意义和背景、自动文本摘要在国内外的研究现状和主要成果。其次,介绍了自动文本摘要的相关知识,包括:自动摘要的分类与方法,以及如何利用网络爬虫进行新闻网页的采集和主流的网页正文抽取方法。在第3章,首先介绍了基于行块分布函数的网页正文抽取方法的主要思想以及该方法相对于传统方法的优点;其次,分析了TextRank算法在句子评分时仅仅考虑文本内在结构存在的不足,发现了TextRank中计算句子相似度方法的不可靠;在此基础上,提出了一种融合BM25与文本特征的新闻摘要算法;此外,还针对BM25计算结果可能出现负数的情况,以及BM25可能因为句子长度过长而失去意义的问题,对所提出算法做了进一步的优化。在第4章,本文利用ROUGE评价工具,通过实验将本文改进算法与其它相关算法进行了对比。实验结果表明,相对于其他方法,本文提出的融合BM25与文本特征的新闻自动摘要算法有更高的性能。最后,为了实际使用所提出的算法,本文利用Heritrix框架设计实现了一个Web新闻网页自动摘要系统,包括新闻网页采集、正文抽取、文本图模型表示和句子权重计算等模块。该系统可以实时采集新闻网页,对采集到的新闻网页自动提取摘要,并将摘要信息通过HTML页面进行显示。
其他文献
动态监测新生儿经皮胆红素,适时治疗生理性黄疸,减少病理性黄疸.方法:将1 200例新生儿随机分成对照组及治疗组.用JH20-IB型经皮黄疸仪测新生儿前额部胆红素,并与血清胆红素进
摘要:“科学探究”是新课改下对新课程教学提出的一种新的教学方法和学习方式。初中《物理课程标准》中指出:科学探究既是学生的学习目标,又是重要的教学方式之一。因此,教师在进行物理教学时,要把“科学探究”渗透到课堂教学中去。要在现行的教学体制下交给学生科学探究方法,培养学生科学探究能力。  关键词:物理教学;科学探究;形式;方法    在新课程下,《物理课程标准》中倡导:义务教育阶段的物理课程不仅应注重
在中国高等教育走向现代化、国际化的宏大背景下,现代影视高等教育格局应运而生。本文认为,影视教育对社会和民众具有巨大的影响力,承担着国民素质教育的重任。因此,需要实现
<正>母婴床旁护理是指住院期间母婴所享受的一切护理均由护理人员在产妇床旁进行,产妇及家属共同参并学习母婴护理知识和技术[1],解决了产科传统的护理模式中母亲和新生儿由
近年来,国家不断推进行政事业单位改革,使得进行政事业单位的业务范围日益广泛,经营形式日益复杂,使行政事业单位财务内部控制工作面临着巨大挑战。《行政事业单位内部控制规
展望21世纪,传统的防洪减灾面临着严峻的挑战.为确保水利可续持发展,需转变防洪减灾治水思路,实现洪水的科学管理,即在消除洪水可能造成的灾害的同时,最大限度地实现对洪水的
采用自行研制的头面部摄像-计算机测量系统,按照随机抽样原则选择云南省德宏傣族景颇族自治州瑞丽市200名正常的傣族成人进行了颅面部器官测量研究。结果:得出了该民族成年男女两年
无人机航空遥感系统具有实时性强、机动灵活、影像分辨率高和成本低的特点,且能够在高危地区作业,非常适用于各种自然灾害的应急救援。具体介绍了低空无人机遥感系统在2008年
与传统的沉降吸管法相比,激光粒度仪在测定土壤机械组成时具有效率高、操作误差低的优势,但其粘粒含量的测试结果通常偏低。本文在桂西北喀斯特地区选取具有代表性的棕色石灰