搜索引擎系统中网页抓取模块研究

来源 :现代计算机(专业版) | 被引量 : 0次 | 上传用户:lzxs123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今互联网资源迅速膨胀,搜索引擎能够从浩如烟海的杂乱信息中抽出一条清晰的检索路径,让用户获得自己需要的信息。由蜘蛛程序实现的网页抓取模块是搜索引擎系统提供服务的基础,从资源的角度决定了整个系统的成败。鉴于此,介绍搜索引擎系统的基本工作原理,分析网页抓取模块的工作流程,研究开源网络蜘蛛Heritrix的几个关键组件,在充分了解Heritrix构架的基础上扩展Extractor组件,成功实现个性化的抓取逻辑。
其他文献
数字水印技术是近些年提出的一种信息隐藏技术,该技术为多媒体信息的版权保护提供了一种新的方法。本文首先介绍了数字水印技术的原理、特点及分类,然后讨论了基于LSB的数字
<正>笔者采用针刺治疗感音神经性耳聋耳鸣75例,现报道如下。1临床资料75例患者来自天津中医药大学第一附属医院针灸门诊,均经耳镜检查、音叉检查、纯音测听及声导抗测试,确诊
排涝泵站的正常运行离不开有效的管理,目前许多排涝泵站在运行长期存在许多问题,应该进行管理方面的改革和完善,建立有效的管理体制和机制,才能保持排涝泵站有效运行的活力。
契约下的行政———从行政合同本质到现代行政法功能的再解释〔1〕孙笑侠行政合同(指典型的行政合同,本文均限于此)属于民事行为抑或是行政行为?学术界对此看法不一。这是一个与
布氏硬度压痕直径传统的测量方法是用20倍的读数显微镜,效率较低,误差较大。为了提高布氏硬度测试的效率和精度,利用OpenCV软件强大的运算和图形图像处理功能开发了基于图象
<正>江苏省无线电管理局为适应无线电事业快速发展的新形势,积极探索无线电管理新举措,努力培养依法行政、研究开发和操作应用三支人才队伍,提出了要在全省无线电管理系统中
论行政契约的含义———一种比较法上的认识余凌云揭示行政契约内涵,是为了反映行政契约的本质,确立划分行政契约的标准,分清行政契约和民事契约的“分水岭”,为探讨行政契约的
<正>1扳机点与腧穴的相关性医学上借用"扳机"这一名词,形容某种疾病在触及身体某一特定部位后可引起局部敏感痛点,导致疾病突然发作,甚至引起远端疼痛。所触及的特定部位,称
<正>信息是符号,也是财产。随着信息技术的广泛应用和互联网的不断普及,个人信息在社会、经济活动中的作用日益凸显,个人信息权作为重要的公民权利内容日益受到世界各国重视