基于文本对象模型的自动化网页内容提取方法

来源 :上海交通大学学报 | 被引量 : 0次 | 上传用户:wangyongahz4
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网页内容提取在信息检索、文本分析以及网络资源数据处理等领域具有重要的工程与应用价值.针对网页中的大量无关内容及网页结构的异构性所造成的网页内容提取难题,提出一种基于文本对象模型(DOM)的自动化网页内容提取方法.首先,在节点过滤后,对网页的DOM模型进行压缩,便于后续分析处理;然后,提出基于文本-链接密度的内容提取方法来识别网页内容;最后,基于节点熵来识别并去除网页内容中的噪声链接.实验结果表明,相比于传统的网页内容提取方法,该方法的准确率和F1分数均有明显提升,而召回率仅有轻微下降.
其他文献
模拟量输出(AO)模块作为分布式控制系统(DCS)平台的重要组成部分,能够实现工业控制4~20 mA的标准电流信号输出,参与反应堆的控制和保护.DCS平台热备架构针对控制器实现主从热
学术大数据能为科研人员提供信息上的帮助.针对传统学术搜索引擎只提供搜索结果而不进行分析的情况,基于AceMap提出的学术地图的概念,设计了多种类型的学术地图,将学术信息可视化地展现给用户.针对SQL数据库多表联合查询的形式不利于生成用户定制的学术地图的问题,提出将其以三元组的形式储存为知识图谱AceKG.该方法有助于用户定制地图、异构地图绘制功能的实现,并且能通过嵌入算法为各种类型的实体生成相关性
摘 要:新中国美术的发展历程中,延安从来都是一个被广泛表现且有着深刻历史内涵的题材,尤其是在革命历史题材绘画兴起后,对延安形象的刻画在美术形式中也有了丰富的表现。油画以其现实主义的创作方法,在表现具有革命历史和革命现实主义题材的创作中有着优势,因而在表现延安题材的创作中也得到了广泛的接受。  关键词:油画;延安形象;塑造  [基金项目:本文系陕西省教育厅专项科研计划项目《以延安红色题材为主题的中国
一、齐白石自身具有的素养(一)不懈努力,持之以恒我尊敬的称齐白石为白石老人,他的一生可以称得上是传奇的一生,1864年出生到1957年逝世,他的生命历程将近达一个世纪。白石老人