【摘 要】
:
www信息量的飞速增长对通用网络机器人(crawler,spider)和搜索引擎呈现了空前的挑战。越来越多的人希望能够快速且有效地找到自己所需要的信息。文章在jeffheaton的bot包(又称
论文部分内容阅读
www信息量的飞速增长对通用网络机器人(crawler,spider)和搜索引擎呈现了空前的挑战。越来越多的人希望能够快速且有效地找到自己所需要的信息。文章在jeffheaton的bot包(又称spider)基础上,提出了一个新的文本资源发现系统称为主题crawler(topical crawler)。主题crawler的目标是有选择地查找与预定主题相关的网页,而不像spider一样,收集和索引所有可访问的web页,这样可以避免访问不相关的网页,同时也有助于节省硬件和网络资源。主题crawler对jeffheaton的spider主要在网页的解析,爬行算法等方面进行了改进;并为它添加了中文分词,通用的输入输出接口等功能;同时,在已有的网页更新策略的基础上,提出了一种新网页更新算法,从理论上证明了该算法的有效性。 文章使用网络机器人的一个应用——搜索引擎来检验jeffheaton的spider及主题crawler的性能。主题搜索引擎主要由搜索网页的主题crawler,为所下载网页建立索引库的索引部分和查找部分组成。其中后两部分的功能我们使用开源软件lucene来实现。
其他文献
北宋时期,儒学复兴,重视心性,探求典籍中的义理内容成为儒者治经的发展趋势。在这一发展趋势中,理学五子开拓“四书”心性空间、挖掘“四书”义理内容、抬升“四书”典籍地位
<正>游戏对于每个人都不陌生,婴儿时的玩手指,幼年时的捉迷藏对于人们都是一段难忘的回忆。在游戏中感受着快乐,享受着游戏带来的各种体验。扮演医生病人的游戏将生活进行预
<正>4月30日,上海市公共信用信息服务平台正式开通。上海市市委常委、副市长艾宝俊出席开通仪式并点击开通市公共信用信息服务平台,副市长周波为市公共信用信息服务中心揭牌,
<正>一、美术教材内容太"散"使用新教材以来,老师抱怨教材内容安排得太"散",一会儿纸工,一会儿泥塑、一会儿又画画,使得教学效率低下。针对这一普遍反应的现象,进行有针对性
发展绿色交通是我国建设交通强国的重要内容,也是我国在可持续发展框架下应对气候变化、解决环境危机的必由之路。美国交通运输能耗排放监测统计中大数据的应用,组织架构上从
目的探讨大豆多肽Lunasin对实验性类风湿关节炎(rheumatoid arthritis,RA)大鼠滑膜成纤维细胞(synovialfibroblasts,SFs)增殖与凋亡的影响及可能的作用机制。方法采用弗氏完
<正> 近年来,随着城市建设的飞速发展,城市燃气事业的发展也十分迅速,其对燃气规划的编制要求也在不断提高,本人近年来多次参与北京市和外省市的燃气规划的编制,对此深有感受
<正>社区照顾是社区社会工作中重要的一个组成部分,社区照顾的兴起与院舍化的弊端有直接的关联,因此,深入认识院舍化的弊端才能认识社区照顾的必然发展,影片《飞跃疯人院》为
民族思想政治教育是伴随着民族的产生而出现的一种客观社会存在。深入研究民族思想政治教育的内容,进一步厘清其涵义和内容,才能完善民族思想政治教育的学科体系,实现民族思
林业行政执法对我国林业资源的保护和发展至关重要,有效的行政执法是实现林业可持续发展的基本保障。本文在分析我国林业行政执法现状的基础上,针对其存在的主要问题,