基于Lucene和Heritrix的职位垂直搜索引擎的设计与实现

被引量 : 0次 | 上传用户:luojing0825
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息急剧膨胀以及信息的多元化,使得传统搜索引擎需要采集、索引、查询的内容不断扩大。因此,即使面对搜索出来的信息我们也需要在大量的无关信息中费力寻找所需信息的情况。而垂直搜索引擎是面向某一特定的专业领域,因此不会像通用搜索引擎那样检索出大量无关信息,提高了查询效率,使用户能够更迅速地查询到自己所需的信息。即垂直搜索引擎在针对性、精确性和时效性等方面都比传统搜索引擎表现的更优。随着网络的发展,越来越多的人依托于网络的便捷和巨大的信息量开始在网上求职,这样人们就需要在各大招聘网站或者工作网站留意相关的招聘信息,为了方便人们更好的进行网络求职,本文提出设计和构建一个基于Lucene和Heritrix的求职垂直搜索引擎。本文讨论和研究一个面向求职的垂直搜索引擎的相关原理、技术和基本实现过程。针对于国内多个招聘网站利用定制的Heritrix进行数据抓取,对抓取的网页信息进行结构化处理,然后在Lucene的基础上对结构化信息进行索引的建立和存储,从而构建一个面向求职信息的垂直搜索引擎。该系统在需求分析和设计阶段采用MDA即模型驱动架构来指导程序的开发,使用开源工具包Heritrix和Lucene来实现程序的开发。整个系统大体分为四部分:信息抽取模块、爬虫模块、索引模块以及用户搜索模块。在爬虫模块,基于对Heritrix的理解基础上建立符合系统需求的自定义爬虫程序;在信息抽取模块中,利用HtmlParser对网页信息进行分析,在本文中通过位置节点这一概念来对信息正确的结构化抽取;在索引模块中结合数据库存储和索引存储来提高系统性能;在用户搜索模块采用三层架构思想来设计实现,将符合用户检索的信息显示给用户。
其他文献
中东欧国家右翼政党是社会经济转轨以及欧洲一体化和全球化进程中的政治产物,它们既不是二战前该地区右翼政党的回归,也不是对西方意识形态的简单照搬。意识形态褊狭的右翼政
目的研究β-catenin基因在人骨肉瘤MG63细胞内表达的变化。方法培养人骨肉瘤MG63细胞,不同浓度Wnt3a及WIF-1蛋白刺激MG63细胞,用实时荧光定量PCR(FQ-PCR)法测定细胞中β-cate
目的:探讨西安市雁塔区非住院糖尿病患者的血糖控制及其并发症情况。方法:采用分层整群随机抽样方法,抽取西安市雁塔区4住宅小区中非住院糖尿病患者121例,进行体格检查、问卷
目的 观察自制化疗药物配制箱对肿瘤科护士的防护作用。方法 运用自制有机玻璃配药箱配药 ,使溢入空气中的微粒集中在箱内 ,箱内外空气相隔绝 ,对 12名护士用配药箱前和用
在马克思主义中国化研究中,马克思主义中国化最新成果是一个关注度极高的热点问题。但学术界和理论界对这一基本概念的理解尚不够全面准确。从多维视角对其科学内涵进行辩证
马克思没有提及文化产业这一概念,也没有关于文化产业的直接论述或现成结论。但是,他在对生产劳动和非生产劳动进行区分以及对非物质生产领域资本的介入情况进行分析时,隐喻
<正>选角真人秀选角真人秀可以简单地理解为专门为某部计划上演的戏剧、电影、电视剧在全社会范围内广泛征集演员的电视真人秀节目,遵循大多数选秀节目的普遍游戏规则,最后获
航空数据链系统是一个复杂的通信组网系统,它充分利用软件无线电技术来提高数据交换、战场感知以及武器互操作的能力。现代航空武器系统设计对航空数据链系统提出了高数据传
面向新世纪,日本将研究生教育作为第三次教育改革的突破口,其改革的焦点主要集中在如何解决研究生教育的"入口"和"出口"这两个基本问题上。从国内形势看,为了缓解大学生存危
随着人们对环境优美、行车舒适的追求 ,防护工程在高速公路建设中的作用 ,显得越来越重要 ,对石砌防护工程的作用和质量控制进行了探讨