【摘 要】
:
网络新闻信息的自动采集对于新闻网页的自动分类、自动摘要、敏感信息监测以及Web挖掘等应用十分重要。本文以半结构化的新闻网页为对象,研究如何从纷繁复杂的网络空间中采集
论文部分内容阅读
网络新闻信息的自动采集对于新闻网页的自动分类、自动摘要、敏感信息监测以及Web挖掘等应用十分重要。本文以半结构化的新闻网页为对象,研究如何从纷繁复杂的网络空间中采集各种新闻网页以及如何抽取其中的新闻正文两个问题,给出新闻信息采集系统的方案并予以实现,主要工作包括:1)基于B/S架构,对新闻信息采集系统进行了总体设计,将系统划分为元搜索引擎和信息抽取两大子系统,并分别对各子系统进行了详细的模块设计。2)给出了元搜索引擎子系统的关键技术实现,其中采用多线程技术实现系统与搜索源的并行交互,采用正则表达式实现搜索结果的解析。在此基础上,设计并实现了搜索结果的去重和排序策略。3)在对新闻网页的标签结构进行深入分析的基础上,提出了最小table块的概念,并通过构建网页的table标签树,将新闻正文抽取问题转换为寻找最小table块问题,进而基于贝叶斯理论提出一种新闻网页的正文文本抽取方法,实现了新闻正文的抽取。实验结果表明,本文设计的新闻信息采集系统方案切实可行,正文抽取算法准确、高效,初步实现了新闻信息采集的自动化。
其他文献
发达国家的城市化经验已经表明,如果在提高城市廊道的经济效益的同时,不注意提高廊道的环境与社会效益,那么就会严重破坏城市生态系统中人与城市环境的平衡,同时会加速市中心
随着我国经济的发展,市场经济体制下,企业的发展面临着各种各样的挑战和风险。而公司的财务管理作为企业内部管理的一个重要机制,对企业的财务决定起着重要的作用。企业的价
旅游目的地居民对旅游影响的感知对旅游的可持续发展具有重要意义。目前我国对旅游影响感知的研究仍处于初级阶段,广度和深度都不够。通过统计瓷器口社区居民对26个问题的回
随着我国银行业商业化改革的实施以及金融体制改革的深化,大批量的商业银行不断涌现,商业银行已变为自主经营、自负盈亏的金融企业,面临着更大的竞争压力和风险。管理会计已
<正>艾灸可以分为艾炷灸、艾条灸、温针灸和温灸器灸四类。艾炷灸艾炷灸就是将纯净的艾绒,用手搓捏成大小不等的圆锥形艾炷,置于施灸部位点燃以治疗疾病的方法。艾炷灸又可以
[目的]分析宁夏回族自治州(简称宁夏州)居民伤害流行的特点和分布,为该地区伤害的预防与控制提供科学依据。[方法]对宁夏州医院伤害急诊病案进行回顾性调查分析。[结果]伤害
随着社会经济发展和社会对物流需求的增加,物流业越来越受到许多国家的重视,物流需求分析则成为政府进行区域物流规划的重要依据。在国家提出“壮大县域经济”的大背景下,作
<正> 我国单纯性肥胖与超重人群不仅伴随着改革开放、人民生活水平不断提高的喜人形势而激增,而且有进一步加速的趋势。据专家估计,我国20岁以上肥胖者达3 000万人以上,超重
品牌是符号,浓缩企业各种重要信息的符号。把企业的信誉、文化、产品、质量、科技、潜力等重要信息凝练成一个品牌符号,着力塑造其广泛社会知名度和美誉度,烙印到公众心里,使
在近四十年的童话创作中,安徒生写出了将近170篇童话故事。如今,安徒生童话被翻译成了80多种语言,受到100多个国家的儿童和成人的欢迎。近200年来,经过无数次的出版、再版,它