Web文本摘要技术的研究与应用

被引量 : 0次 | 上传用户:zuochangfeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着万维网的迅猛发展,用户可在线获得的信息量呈指数级增长。面对如此浩瀚的信息,人们迫切需要寻找一条能够快速、准确获得所需信息的途径,因而出现了多种文本处理技术,包括信息检索、文本分类、文本摘要等。文本摘要技术因其既可以压缩文本,减少用户的浏览负担,又可以为其他文本处理技术提供支持,逐渐成为国内外研究的热点。本文研究了以Web文本结构为指导、以机械摘要为基本手段的自动摘要方法,并对其中涉及的文本结构分析、关键词提取、摘要生成等关键技术进行了深入研究;然后对获得的摘要进行聚类处理;最后,给出实验结果并进行深入分析。本文主要的研究工作包括以下几个方面:(1)本文首先概述了Web挖掘的定义和分类,以及Web文本挖掘产生的背景、基本概念和应用方向;同时阐述了自动文本摘要的发展历史、类型、技术和评价方法。自动Web文本摘要是本文重点研究的内容。(2)本文在深入分析Web文本的结构特征的基础上,研究了在Java语言中运用正则表达式实现Web文本解析的关键技术,并给出核心实现过程。(3)本文研究了基于扩展的TF-IDF方法的摘要技术,其主要步骤包括:首先过滤停用词,然后计算词和句子的权重,再将句子按照权重高低排序,排在前面的若干句子按照在原文中的位置顺序输出即为该文章的摘要。经过内部评价,该技术获得的摘要效果较好。(4)本文深入研究了各种聚类方法,并对这些方法的优缺点进行总结和比较。同时给出获得摘要的具体实验过程,最后对摘要采用经典的平面分割聚类算法:K-means算法,进行聚类处理。最后将摘要进行聚类的结果与对Web文本直接聚类的结果进行比较,证明本文研究的摘要技术获得的摘要效果较好。
其他文献
配筋混凝土桥梁结构高效地结合了钢筋抗拉性强和混凝土抗压性强的特点,在全球土木界中得到了极其广泛的使用。但是,在气候环境相对干燥的西北地区,配筋混凝土桥梁结构在运营
上世纪九十年代以来,我国大批农村劳动力向城镇转移。据调查我国目前有农民工1.5-2亿,农村闲置的劳动力人口在1.5亿左右,并且农村每年新增劳动力500-600万。农业劳动力转移分
<正>到底不甘心这样四平八稳地教授《故都的秋》——找出中心句,了解北国之秋的特点,结合作者的遭遇了解文章的思想感情,分析文本的结构。如此,作者的心境被贴上冷冰冰的时代
本文在广泛调研的基础上,总结了目前高职院校公共选修课在课程开设、教学组织、质量管理等方面普遍存在的一些问题,探讨了"慕课"引入高职院校公共选修课教育的优势以及如何将
生物种质资源是以物种为单元的遗传多样性资源,是人类社会可持续发展的重要物质基础,是国家重大战略性基础资源,关系到国家安全与主权,是生物经济时代基因工程与产业化生产的不可
食品物料的通电加热是食品工程中的一门新兴技术,它是在电路中把物料作为一段导体,利用物料本身在导电时所产生的热量达到加热的目的。国外对通电加热技术的研究起步较早,目
<正>东府办[2012]126号各镇人民政府(街道办事处),市府直属各单位:《东莞市加工贸易转型升级绩效评价办法》、《东莞市加工贸易转型升级工作考核办法》业经市人民政府同意,现
依据新课程理念,语文课堂教学生态就是从生态学和系统论的观点出发,把语文课堂教学看作一个整体,用生态的眼光来审视语文课堂教学,树立一种诗意化的和谐理念,使语文课堂教学走向健
本文旨在对克林顿与布什时期美国政府的财政政策作不比较。从克林顿与布什时期财政政策的理论基础入手,研究并分析了两个时期美国财政政策的内容及其不同,并阐述了两种财政政
科学态度是指严格按照客观规律办事的态度和脚踏实地的工作作风。中学化学实验教学除了能帮助学生形成化学概念、掌握化学基础理论外,还有助于培养学生严谨认真的科学态度。为