【摘 要】
：
通用网络信息采集系统效率低,数据冗余大,因此本文研究了一种高性能的定向信息采集系统。该系统针对目标网站,抓取主题及回复网页。获取网页时控制并发线程和链接收集策略,消
【机 构】
：
北京交通大学通信与信息系统北京市重点实验室
论文部分内容阅读
通用网络信息采集系统效率低,数据冗余大,因此本文研究了一种高性能的定向信息采集系统。该系统针对目标网站,抓取主题及回复网页。获取网页时控制并发线程和链接收集策略,消除无关和重复信息,并将数据结构化。同时本文提出了主题重要性评估模型,分析主题对回复的吸附力,分配系统资源,指引新回复的抓取。系统连续运行8小时,获得的有效网页总数在通用爬虫的1.2倍以上。
其他文献
一、概述专用汽车是自卸车、半挂牵引车、半挂车、厢式车（含客厢式和货厢式）、罐式车、起重举升车、特种结构车、仓栅车等专用载货汽车及专用作业类车辆的统称，它广泛服务于我国
主要发达国家的经验显示，在大众汽车消费时代临近或到来之时，政府便开始了运用财税手段，引导其国家的“汽车社会”朝着有益于社会进步和可持续发展的方向前进。
2006年，中国的对外贸易额稳居世界第三。伴随着国际贸易的迅猛发展，国际贸易领域信息技术的发展日新月异。Internet已成为对外贸易交流的主要平台，EDI（电子数据交换）成为国际贸易新手段。贸易伙伴可以通过Internet或EDI查询发布商品信息，进行订单磋商与签订，办理货物运输、保险和银行结算等事宜。目前，我国已经通过EDI实现了进出口企业、海关、商检、运输部门、银行及国家进出口管制部门间的联
评审团基于将能够对环境产生积极影响的最具创意电子设计这一标准进行评判自2007年5月推出以来，共有来自102个国家和地区的3，500多名设计工程师、学生和学者报名参赛。
自2005年上半年以来，国际原油价格不断攀升。7月23日，国家发展和改革委员会决定，将汽油、柴油出厂价每吨分别提高300元和250元，这也是2005年成品油零售价的第五次调整。目前中国
20世纪80年代，为应对日本汽车企业的挑战，美国产业界普遍认为，既然在业已成熟的技术领域竞争不过日本，美国汽车企业只能依靠技术创新才能获胜。在这种思想的指导下，通用汽车公司从
一、汽车后服务市场上升空间巨大 当前，中国经济正在高速发展，人均GDP已上1000美元台阶儿，汽车已成为消费新宠，保有量以年均两位数增长。2003年全国汽车保有量已超过2400万辆。
随着多媒体技术和网络应用的不断普及，多媒体教学手段广泛应用到了课堂。它把电、光、形、声等多种媒体组合起来，创造出有利的学习环境，充分调动学生的视听感官，促使他们积极主动