【摘 要】
：
提出了一种可定制聚焦网络爬虫技术.该技术采用简单的主题描述方法提高网络爬虫的可定制性,利用基于站点页面链接结构的链接导航技术实现对主题信息的高效抓取,通过配置文件
【机 构】
：
清华大学计算机科学与技术系清华信息科学与技术国家实验室,清华大学计算机科学与技术系清华信息科学与技术国家实验室北京100084,北京100084
论文部分内容阅读
提出了一种可定制聚焦网络爬虫技术.该技术采用简单的主题描述方法提高网络爬虫的可定制性,利用基于站点页面链接结构的链接导航技术实现对主题信息的高效抓取,通过配置文件实施定制,从而构建一个资源消耗小、数据采集准确性高、可控性强的轻量级聚焦网络爬虫,以满足P2P搜索的需求.文中进一步提出一种增量更新和批量更新相结合的网络爬虫数据更新机制,这种混合更新机制降低了增量更新的实现复杂性,相比批量更新具有更小的资源消耗,实验表明采用这种机制能达到较高的数据新鲜度和召回率.
其他文献
<正>当题目中同时存在感生电动势和动生电动势时,解答中一般是分别求出动生电动势E1=nBLv和感生电动势E2=n（ΔΦ）/（Δt）,然后根据方向进行加减,过程烦琐。下面通过3道题目,从另一
感应电动势是电磁学中极其重要的概念 ,也是高考与竞赛中命题的重点区域之一 .求感应电动势的基本方法是法拉第电磁感应定律 :E=nΔΦΔ t.本文讨论几种特殊情况下感应电动势
目的：评价血管化游离髂骨肌瓣和腓骨肌瓣移植修复下颌骨缺损的临床效果,比较两种修复方法的优缺点。方法：对44例血管化髂骨肌瓣和腓骨肌瓣移植修复下颌骨缺损的病例进行回顾性
<正>《小学数学教学全书》中指出:"解答按比例分配的应用题,首先要明确题中比的含义是各占几份的意思。然后,再根据分数应用题的知识找出各部分占总份数的几分之几,再由分数
利用二阶Cauchy-Euler微分方程形式，定义和研究两类受限于凸函数，且在单位开圆盘△-{z：｜z｜〈1}内解析的函数族φ及Hφa，得到φ和Hφ0的全部系数估计结果．