基于Elasticsearch的建筑领域垂直搜索引擎的设计与实现

来源 :沈阳建筑大学 | 被引量 : 0次 | 上传用户:minisnake1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在日常生活和工作学习中,人们已经习惯从互联网中获取信息,搜索引擎成为沟通人与互联网信息的桥梁。伴随着各行各业不断信息化的发展,各个领域内的数据也呈现爆炸式增长,但是这些数据中存在很多问题,比如数据不准确,数据冗余,数据专业相关性较低等。因此如何快速准确地从海量数据中提供用户所需的信息成为当下搜索引擎迫切需要解决的问题。垂直搜索引擎是在某一特定领域提供信息检索的工具,检索结果比较专业准确。针对传统的全文搜索引擎在建筑领域不能提供较为专业的回答以及搜索效率较低等问题,本文提出了一种基于Elasticsearch的建筑领域垂直搜索引擎。本文首先对搜索引擎的研究背景和国内外研究现状进行介绍说明,然后对实现本文搜索引擎的相关技术进行介绍,着重对Elastic Search搜索引擎技术、Scrapy框架、Django框架以及中文分词技术从功能和原理进行介绍。然后,数据采集部分,使用Scrapy框架和采用深度优先的爬取策略,实现建筑文本的信息采集。同时根据数据处理的相关策略进行数据清洗和数据加工,进而提高数据的真实有效性。其次,在中文分词部分,为了解决对未登录词识别不准确的问题,提出在第一次分词的基础上通过互信息和邻接熵来对生成的预选词进行筛选的方法。将达到阈值的候选词加入到专业词典,然后用生成的专业词典来进行第二次分词。接着,在网页排序部分,学习和分析Page Rank算法总结出Page Rank算法存在的问题。从两个方面进行改进,首先计算主题相关度和加入用户反馈因子来纠正主题偏移的问题,然后加入时间反馈因子加速新出现的网页上浮的速度,纠正重旧网页轻新网页的问题,提高网页排序效果。最后,将建筑领域垂直搜索引擎从总体架构到各个功能模块进行设计与实现,并对搜索引擎的功能及性能进行测试。测试结果达到预期目标能够满足用户的需求,具有很高的实用价值。
其他文献
近十几年来,互联网在我国迅速发展,给人们的生活带来了巨大的变化。然而,互联网利弊参半,它在便利人们的生产生活的同时,也为各种新型犯罪方式的产生提供了契机。网络具有开放性(赌客们可以随意进出“赌博场所”)、便利性(行为人只需要一台简单的设备即可组织或参与赌博活动)和隐蔽性,以赌博犯罪为例,赌博犯罪与互联网结合之后,必然呈现出涉案人数众多、赌资数额巨大的特点,其社会危害性较传统赌博犯罪也更加严重。网络
戴夫·布鲁贝克是二十世纪美国著名爵士钢琴家、作曲家,本文选择布鲁贝克的双钢琴作品集《爵士点描》作为研究对象,其中包含八首风格各不相同的变奏曲。通过重点研究《爵士点描》中和声的个性化特征,分析其中包含的爵士乐和声要素,及论证该作品中爵士和声与传统和声之间的联系。论文主体共分为四章,分别从“调式特征”、“和弦结构”、“和弦模式”、“曲式结构”进行全面分析研究、总结归纳。
土地管理法律制度为保护农民土地权益、保护耕地、维护农村稳定、保障工业化城镇化建设发挥了重要作用。《甘肃省实施办法》作为省内土地管理的地方性法规,因长期未作修改被列入甘肃省2021年立法计划。本着发现问题—分析问题—解决问题的基本研究思路,本文以立法后评估为手段,通过评估发现这一地方性法规存在的问题,依据评估结论和对上位法的评析,为其修改提出切实可行的建议。从内容上讲,主
营商环境是指市场主体在准入、生产经营、退出等过程中涉及的政务环境、市场环境、法治环境、人文环境等相关外部因素和条件的总和。营商环境之于企业,就是水和鱼的关系,其健康与否决定着市场主体的盛衰、生产要素的聚散、发展动力的强弱。优化营商环境,就要解放生产力,激发市场竞争活力。一方面,要放宽市场准入标准,促进企业良性竞争;另一方面,要加强对企业的事中事后监管,对低效和无效企业要积极引导其退出市场,对低效无
本文从地域文化与文学的研究视角,采用文献学、文化地理学、历史学与文学相结合的研究方法。在宋代闽地社会、政治、文化的背景下,考察闽地文化与文学之间的关系,探讨闽东词的创作概况,分析闽东词人的群体特征和创作题材、探讨其艺术特征及成就。这一论题的研究,不仅有利于认识宋代闽东词人及其作品的发展和特点,还可以为宋代闽地词和清代闽地词的研究提供具体的数据和参考。论文分为五部分。绪论部分对本文的选题思路进行阐述
进入21世纪,我们迎来了数字经济和大数据时代。科学技术和信息技术的不断革新,促进了网络技术和电子计算机技术的不断进步。在这一背景下,2012年我国在修改《刑事诉讼法》时将电子数据增设为法定证据的一种,电子数据已逐步成为多种刑事案件量刑审判的主要依据,是“证据之王”。作为一种新型证据种类,电子数据的相关问题引起了理论界与实务界的广泛关注,在学者们不断进行深入讨论的同时,其在实践中的运用也逐渐暴露出许
在EPC总承包项目中,物资采购占据了项目总造价的60%-70%左右,因此物资采购管理的重要性不言而喻,通过阅读文献以及实际项目的考察,发现目前EPC项目物资采购管理存在很多问题,比如,一、对供应商合作前的考察不到位,就会造成信息不对称,施工方不能真正了解供应商的实际情况,是否能如期供应货物、是否能在资金上支持货物供应等等,因此造成很多风险,以至于影响工程进度,进而对项目造成损失;二、工程物资众多,
随着全球城市化进程的加快,城市形象已经变成一座城市快速被外界所了解的窗口和行走的门面。旅游业的快速发展,使得城市旅游形象的地位凸显。而能否提前针对性地对城市旅游形象进行特色精准定位、及时更新,塑造良好旅游媒介形象对旅游业发展至关重要。纵观历史发展的长河,重庆这座城市衍生出了古巴渝形象、码头文化形象等等。在这一进程中,从无意识地随波逐流跟随历史发展潮流自发形成城市旅游媒介形象,逐渐转向阶段性有意识特
在日常生活的房屋买卖交易活动中,一般来说买受人和房屋所有权人签订的房屋买卖合同,从合同生效到办理房屋过户登记往往需要有一定的时间。在买受人和房屋所有权人从合意到所有权转移的这一阶段中,买受人已经产生了对于房屋所有权的期待利益。如果买受人已经满足了相关的法律要件,就理应获得法律保护的物权期待权,从而实现比普通债权更优先的保护顺位。也就是说,对于买受人在过渡阶段的期待利益,应该给予一些特殊保护。期待权
恶势力犯罪作为一个极具中国特色的现象,其与相关的刑事政策具有较为紧密的关联。截止到目前我国已经出台了多个与恶势力犯罪相关的刑事政策,但由于我国长期以来对恶势力犯罪的打击都是伴随着打击黑社会性质组织进行的,以致在我国形成了“黑”与“恶”不分家的情况,但实际上“黑”是指黑社会性质组织,“恶”是指恶势力组织,两者是具有一定差别的。将“黑”和“恶”混淆的结果就是容易出现将“黑”降格处理为“恶”,或者是将“