分布式数据注册中心的Elasticsearch个性化搜索应用研究

来源 :成都理工大学 | 被引量 : 0次 | 上传用户:ltcool
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自人类跨入大数据时代,数据的海量、快速、多样以及价值性等增加了用户快速准确地获取目标信息的难度。传统的搜索引擎仅仅通过用户输入的文本进行暴力匹配,不能个性化地为用户推荐可能感兴趣的信息,导致相同的搜索条件没有因为用户的个体差异产生所需的结果,因此发展个性化搜索引擎势在必行。数据注册中心(DRC,Data Register Center)是面向数据的体系结构(DOA,Data Oriented Architecture)的核心部件,海量数据通过注册,将数据的信息存放在分布式DRC中供用户访问,用户访问这些注册的数据信息时会用到检索功能。分布式全文检索库Elasticsearch和DRC拥有较高的相似性,利用Elasticsearch可以实现分布式DRC的检索功能。同时,用户的历史行为数据也可以记录和存放于DRC中,通过Mysql对用户的数据违规操作实现追踪溯源。论文针对DRC的个性化推荐和搜索开展了理论研究与实验对比,取得的主要成果和创新点如下:(1)设计和实现了具有个性化搜索能力的DOA分布式DRC集群。通过实验和仿真测试,验证了其在可靠性、性能、可拓展性等方面的优势,证实了其数据不丢失的特性,并发处理的效率保证在千人并发访问时在5秒内能作出响应。(2)基于DRC实现了Elasticsearch个性化搜索模块。通过性能提升方案提高了用户搜索的准确率和效率。采用Cos RA算法结合DRC的用户历史行为数据实现了系统的推荐功能。(3)提出了一种基于IK分词器的新词发现方法。使用IK分词器的ik_smart模式对用户输入的搜索文本进行过滤性分词并存入My SQL数据库的热词表中,用crontab命令定时执行Shell脚本,将热词表中满足条件的相邻词进行组合并插入到新词表中,实现新词发现。(4)提出了一种基于DRC的用户搜索个性化推荐算法。该算法将DRC用户历史行为数据和传统的推荐算法相结合,实现基于用户历史行为数据产生个性化的推荐,具有高准确率、高召回率和较好新颖度的特点。
其他文献
β葡聚糖是由葡萄糖单位构成的,在微生物、植物和动物中广泛存在,是葡萄糖的多聚糖单位。结构上它们大部分是以β-1,3键结合,是一种聚合物,具有一定的生物活性。20世纪中叶,外国学者发现酵母细胞壁上存在着一种增强免疫功能的物质,20多年后才确定了这一活性物质就是β-1,3-葡聚糖。近几年的多项试验研究表明,β葡聚糖在降血糖、减脂和提高免疫能力方面有显著的作用,对人体各种生理功能都有很大的益处,因此β葡
背景:近年来,全球女性总癌症发病率处于稳定的状态,但是乳腺癌却呈现高发病率趋势,并成为全球女性致死率排名第二的恶性肿瘤[1]。目前,乳腺癌常用治疗手段有:手术治疗、放化疗、内分泌治疗及靶向治疗等,虽然这些治疗方法可以有效控制乳腺癌的发展,但乳腺癌患者的死亡率依然高达15%,而引起患者死亡的最主要原因之一就是肿瘤转移[2,3]。但不是所有的肿瘤都能够形成转移瘤,其过程是非常复杂的,需要通过多种基因及
随着我国经济的发展,无论是国有企业还是民营企业,都面临着前所未有的机遇和挑战。目前,科技、知识、人才已成为增强竞争、提升经济、推动发展的核心财富和力量,员工培训的地位越来越重要。然而,骨干员工就是企业实现各类目标任务的中坚力量,他们往往在企业的关键岗位掌握着核心资源,比如,技术、工艺、业务、客户等,在很大程度上会影响着公司的发展战略和决策,有着承上启下的重要作用。因此,骨干员工培训的重要性已经得到
随着移动互联网的不断发展,新兴的数据业务需求越来越高,同时由于智能终端的大规模普及,网络连接设备越来越多,使移动数据流量呈指数式增长。为应对2020年移动通信海量数据激
自从互联网诞生以来,一直呈现出一种飞速发展的状态。人们的生活方式、信息的获取等都有了日新月异的变化。专用网络亦是如此。我们在享受网络带给我们的便捷的同时,也面临着
本文研究的对象是明中期的章丘士绅群体。明中期具体是从天顺到隆庆年间(即1457—1572年)。本文的“士绅”具体包括正途本籍官员(1)、进士、举人、监生及地方儒学生员。地方儒学生员是下层士绅,其他为上层士绅。本文的主旨是讨论章丘士绅在地方社会所扮演的角色及作用,并试图从多角度分析章丘士绅力量微弱的原因。由于元末明初的连年战争以及明初的靖难之役对华北地区造成了很大的破坏,人口锐减。朱元璋和朱棣多次颁
面对全球经济一体化以及竞争环境的加剧,企业为了能够迅速提升企业业绩,在市场竞争中保持竞争优势,不断谋求战略转型与业务升级,通过新设与并购的方式,实施多元化扩张。当然,成功的多元化扩张可以使企业在市场中站稳脚步并获得可观的收益,并且提高企业的整体水平和核心竞争力。但失败的多元化扩张,不仅会使企业资金的投入太过分散,导致企业没有明确的发展方向,还会使企业的盈利能力下降,致使现金流断裂,引发财务危机。2
随着智能终端的普及和各种新的无线应用出现,移动通信数据需求正呈现指数级增长。面对日益增长的无线数据需求,提升系统容量仍然是5G系统最主要的目标。异构网络技术通过在传
性别控制技术对于加快优良母畜的繁殖速度,提高限性性状畜牧业的生产效益有重要意义,而早期胚胎性别鉴定是进行性别控制的一种重要方法。在XY型性别决定的哺乳动物中,Y染色体
近年来,随着劳动力市场、技术革新与知识经济的不断改变,个体职业发展背景出现了前所未有的变化,其变化不仅影响着企业发展,而且还左右着员工对职业生涯的管理态度。在态度不断改变的情形下,由于外部环境的多方面影响,衍生出除传统职业生涯以外的两种新模式,即易变性职业生涯与无边界职业生涯。这两种模式不仅是由时代发展衍生而来,而且还都是以自我职业生涯的管理为核心,从某种程度上来看,两种模式既相关又重叠。目前关于