基于golang的分布式全文检索系统研究与实现

被引量 : 0次 | 上传用户:y31aaaaa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着城轨线网规模的扩大,城市轨道交通系统中每天产生的数据量也急剧增长,如何从日积月累的海量数据中快速地获取工作人员所需的信息成为一大挑战。全文检索不同于传统的数据库信息管理技术,其处理的对象是非结构化数据,用户可以通过内容关键字来检索相关的文档,从而高效,多维度的利用信息资源。互联网上蓬勃发展的搜索引擎其核心技术也是全文检索技术,但是出于企业商业信息的安全性等方面来考虑,在互联网上应用良好的搜索引擎比如谷歌、百度、bing等并不能直接应用于企业环境之中,因此需要针对特定的行业建设一套垂直领域的检索系统。本文以城轨线网为背景,针对单机检索系统在处理海量数据时出现的性能瓶颈问题,基于nginx、Flask、wukong等工具和框架,用golang语言设计了一套适用于城轨线网领域的分布式全文检索系统,重点研究了分布式全文检索系统中的字符串哈希算法、中文分词技术、权值问题。本文的主要工作如下:(1)对常用的字符串哈希算法进行了分析和对比后,根据系统应用场景哈希字符串长度短的特点,选用mumurhash3字符串哈希算法来实现分布式检索模型,用于解决单机检索系统性能上的瓶颈。(2)分析对比了几类常见的分词算法,并重点研究了基于统计的分词算法模型:隐马尔可夫模型和条件随机场模型,在此基础上实现了一种基于隐马尔科夫模型加字典的组合分词算法,实验结果表明该分词算法有着良好的切分性能和分词效果。(3)在上述研究的基础上,利用nginx作代理服务器,Flask作为web框架,wukong作为检索引擎,搭建了一套分布式全文检索系统。实验结果表明,该全文检索系统具有良好的性能,在检索方面有着较高的查全率和查准率,并且能够准确及时地为用户提供所需的结果。
其他文献
探讨放射性核素在分化型甲状腺癌诊断和治疗中的应用,对比国内外治疗方法的异同点,总结和讨论131I在甲状腺癌治疗中的地位、优势、关键问题等,以及甲状腺癌复发或转移的检测
结合伊犁新天20亿Nm3/a煤制天然气项目的仪表施工技术过程管理特点进行专业性总结,探讨在工程建设现场中仪表施工中出现的各类重要工序施工要点,能有效提高仪表质量控制及进度控
目的制备复方口腔溃疡贴膜剂并建立其质量控制方法。方法以亲水性高分子材料羧甲基纤维素钠为主要辅料制备复方口腔溃疡贴膜剂,采用高效液相色谱法测定其中醋酸地塞米松的含
市场经济随着近几年我国社会主义现代化建设进程的不断加快日渐繁荣,林业保护工作在市场经济的条件下是促进我国社会经济发展的首要前提,同时也对改善生态环境起着重要作用。
根据我国食品卫生安全标准要求,婴幼儿配方奶粉的罐标必须标明主要营养成分的种类及其含量,包括蛋白质、脂肪、碳水化合物、矿物质、维生素等。本文统计了近30种品牌的部分婴
<正>很多乳企都对互联网思维有着深刻的认识,把自己定义为营销3.0时代,希望能由传统乳业营销时代进入了基于电商和社群的移动互联网营销时代,挖潜互联网时代的品牌潜能和营销
当今世界,各个国家和民族都逐步认识到保护和发扬自身优秀传统文化的重要性。伴随着全球化的发展,世界各国的交流也越来越频繁,越来越紧密。而在不同文化的交流与冲突中,西方
阅读文学经典是提高学生语文素养与能力的有效方法,新课程标准发布之后教育界对文学作品的解读越发重视。我们在中学语文教学中如何对文学作品进行教学解读、其解读的重点和
以4,4′-二氨基二苯基砜(4,4′-DDS)和间苯二甲酰氯(IPC)为单体,通过低温缩聚反应合成出了一系列含砜基的高分子量聚砜酰胺,并用IR和1HNMR光谱对这些聚合物进行了结构表征,用
雷电对电力系统的危害很大,高压直流换流站时雷电的防护问题值得高度关注.介绍同内外高压直流换流站或变电站普遍使用的直击雷防护设计方法,如固定角度法.经验曲线法以及电气几何