基于关键词抽取的网络博客自动文摘算法的研究与应用

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:gghe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网时代的来临,网络已经成为了人们获取信息的重要途径。网络快速发展使得信息量剧增,用户在海量数据中如何精准地获取到所需的信息,俨然已经成为了一个值得关注与研究的问题。网络博客的编辑方式较为随意,没有统一的规范,故而使得自动生成网络博客的文摘有一定困难。基于此,本文展开了针对网络博客的自动文摘算法及其应用的研究。本文对自动文摘算法理论与方法进行了研究,基于研究成果设计实现了一个针对新浪博客的自动文摘系统,实现了新浪博客网页正文内容的提取以及实时自动文摘功能。本文的主要研究内容包括以下4个部分:1)研究中文关键词抽取算法,分析TF-IDF算法与TextRank算法在文本关键词抽取领域的优缺点,提出了一种融合TF-IDF与TextRank算法的文本关键词抽取方法。2)研究TextRank自动文摘算法。根据中文博客文本特性,针对中文博客文本编辑方式随意、无特定格式等特征,提出了一种结合关键词抽取的基于TextRank的自动文摘算法,并通过改变关键词的使用顺序来实现新算法性能方面的提升。实现过程中,使用改进的BM25算法计算句子间相似度。3)设计参数实验、对比实验等。在实验数据集上,对多种关键词抽取算法进行对比,并使用精准率、召回率和F1-score指标评价实验结果。另外,对比了多种基于TextRank的自动文摘算法并使用ROUGE指标评价各算法的性能。实验结果表明,本文所提出的关键词抽取算法以及自动文摘算法性能更优。4)基于本文改进的自动文摘算法、网络爬虫框架和网页正文提取算法设计实现了一个针对新浪博客的自动文摘系统。
其他文献
在民航机场的众多安全保障设施中,机场助航灯光系统承担着举足轻重的作用,在能见度较低的恶劣天气或夜间环境下,它为飞机的安全起降提供保障,减少事故发生。国际民航组织为保
随着科技的发展和时代的进步,人类社会已步入信息化社会,人们不论是工作学习还是休闲娱乐都离不开显示行业,因此显示技术得以飞速发展,人们对高质量显示设备的要求也越来越高
目的:观察奈达铂新辅助化疗同步调强放射治疗(Intensity Modulated Radiation Therapy,IMRT)联合手术治疗ⅠB2~ⅡB期宫颈癌的客观反应率(Objective response rate,ORR)及安全
2,4-二硝基苯甲醚(DNAN)是一种钝感熔注炸药载体,与传统的载体炸药TNT相比具有感度低、与AP相容、无渗油、粘度小、收缩性低等优点,具有广阔的应用前景。本文针对DNAN/HMX/Al(30
洁净厂房是电子产品制造业必不可少的,洁净厂房的运行质量直接影响电子产品的良率。我国集成电路投资额从2016年开始进入了快速增长通道,特别是在新型显示器OLED面板行业,预计至2025年复合增长率可达到80%以上。相关研究机构预测,2020年我国洁净室行业市场规模将达到1000亿以上。然而,我国的洁净厂房建设项目现行的质量管理模式难以满足半导体洁净厂房的厂务运行要求。在洁净厂房建设过程中遗留的一些质
海洋是生命的摇篮,约占地球表面积的三分之二,它不但包含了丰富的生物资源,而且对全球的气候及环境有重大影响。近年来,随着对海洋探索研究的深入,水下工作装置日益增多,装置
最近一个世纪以来,医学成像技术渐渐发展,基于医学图像的诊断流程也逐渐成为了每一个科室基本的诊断流程。基于各种影像体系,北美放射学会近十几年来针对各种癌症疾病开始制
阿拉伯语和汉语在动态助词方面的研究较少,尤其是从使用的角度去探讨和辨析阿拉伯学生习得汉语动态助词“了”时存在的问题。本文作者为了提高苏丹的汉语老师与学生的动态助
对于外国学生来说学习汉语语法并不容易,“了”是汉语作为第二语言教学的重点和难点。汉语“了”具有丰富的语义内涵,在句中位置灵活,语法功能繁杂,外国人很难掌握“了”的用
三七花富含人参皂苷、三七皂苷等活性成分,其作为一种高安全性的药食两用资源,在云南有相当长的使用历史。三七花有清咽润喉、护肝、抗炎、活血化瘀、降血压、降血脂等功效,具有很高的药用食用价值。然而,目前三七花主要以“初级农产品”的形式食用,其产品存在加工简单粗糙,标准不明确,原料未充分利用和质量差异大等问题。研究表明,我国市场上三七花深加工产品数量有限,且其口感不佳,顾客接受度较低,销量不好。本研究系统