基于分布式结构的Deep Web结构化数据抽取系统

被引量 : 0次 | 上传用户:zhangfalun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Deep Web网站提供了大量的专业领域数据,单机系统抽取Deep Web数据效率低,抽取周期长,不能保证数据的时效性;本文提出了一种基于分布式结构的Deep Web结构化数据抽取系统,采用服务器/客户端架构搭建系统,设计作业调度算法,平衡客户端之间任务量,保证各个客户端之间的任务平衡;设定任务库及任务状态,通过任务状态实现对任务的进度监控;使用客户端分担服务器的分析工作,减轻服务器的计算压力;选用Java工具实现系统,完成系统设计。通过对单机和分布式抽取实验分析,分布式Deep Web数据抽取系统综合利用了多计算机并行处理能力和分散的网络资源,提高了Deep Web数据抽取效率,保证了数据抽取的时效性。
其他文献
中学教师继续教育是一项系统工程。教学工作是继续教育的核心。本文在调查总结试,久工作的基础上,提出了中学教师继续教育的五种培训类型,制定教学计划的原则,以及课程设置的依据
本文共分五章,主题是研究拉格郎日反演公式所包含的一个拟卷积公式和它的指数结构以及组合证明。 第一章对拉格朗日反演在Riordan群理论中的应用进行了介绍,证明了一个组合
目的:探讨健肾宝治疗肾虚阳萎的临床疗效.方法:运用临床观察与动物实验研究的方法,观察健肾宝对大鼠生殖器官及雄性激素的影响.结果:临床观察表明,健肾宝治疗肾虚阳萎的显效
<素问>、<灵枢>所载方剂虽仅12方,但其方剂学的水准却是相当高的.方剂是各单味药经过配伍后产生的新的药效组合.由于古人有"方不轻授人"的保守思想,从而影响<内经>后期方刑的
传统的电子商务模式逐步转移到“微商”经营模式上来,“微商”模式迅速地发展起来。这不仅为中小企业提供了一个新的营销活动平台,而且使国内不同的品牌商和厂商更加容易接触
如今的信息时代,农村地区的贫困从某种程度上可以归咎为信息的贫困。解决农村地区的信息服务问题对于农村信息化建设具有重要意义。惠农信息社作为广东省信息进村入户的服务
为了对山羊流产死胎病例进行诊断,并对病原进行分离与鉴定,采集疑似布氏杆菌感染羊群的羊血清5份,通过虎红平板凝集和试管凝集试验,测得血清对布氏杆菌抗原都具有凝集性。为
作为拥有13亿人口的农业大国,中国农业的发展一直是国家的工作重心之一。农产品的产量、质量、价格和市场需求等共同决定着农民的收入水平。在科技下乡、人才培养、技术和资
笔者自1990年来用单味青黛外敷治疗带状疱疹23例, 获得显著疗效. 现报道如下.
转群是种鸡生产过程中的一项基本工作,这项工作做得好不好对种鸡其后生产性能的发挥具有重要影响。种鸡生产者应认真对待、精心组织,将群转应激降到最低。