面向海量数据的分布式垂直搜索系统的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:X80908888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网上信息数据的指数级增长,信息的检索和处理成为信息时代最流行的技术之一。目前,面对海量的信息,人们使用的搜索工具主要为百度、必应、Google等通用搜索引擎,这些搜索引擎虽然搜索范围广,搜索结果多,但返回的信息往往与用户需求匹配度比较低,在这种情况下,针对特定领域进行搜索的垂直搜索引擎随之而生。以此为背景,本文研究了当下流行的搜索引擎框架,对搜索引擎相关的排序算法、推荐算法进行研究与设计,使用分布式数据存储框架,基于搜索引擎Elasticsearch设计实现了一款面向海量数据的分布式垂直搜索系统。本文的创新设计和实现工作主要如下:(1)详细研究了全文搜索引擎相关技术,编写爬虫程序爬取海量影片资源,根据系统数据的特征选择不同存储框架存储数据,研究相关排序、推荐算法,设计实现了面向海量影片数据的高性能的分布式垂直搜索系统。(2)本文对搜索排序算法进行设计,对搜索引擎返回的文档进行二次加权排序,排序算法综合相关性评分和影片特征评分,提高了排序结果的准确性和针对性。(3)本文对内容推荐算法进行设计,使用用户协同过滤算法挖掘用户潜在兴趣,使用基于距离的内容推荐算法并对样本集作剪枝处理提高用户兴趣匹配度和执行效率,在热度推荐的基础上引入天气因子为推荐增加情感色彩,最后综合三种算法实现个性化兴趣推荐。测试结果表明,本文设计的分布式垂直搜索系统在功能方面实现了基本的搜索和推荐功能,在性能方面有着较为优秀的表现,达到了预期的目标。
其他文献
近日,国家药监局综合司、国家卫生健康委办公厅联合发布《关于做好疫苗信息化追溯体系建设工作的通知》(以下简称《通知》),要求积极推动建立覆盖疫苗生产、流通和预防接种全过程的信息化追溯体系,实现全部疫苗全过程可追溯,做到来源可查、去向可追、责任可究,提高疫苗监管工作水平和效率,切实保障疫苗质量安全。《通知》规定,北京、天津、内蒙古、上海、江苏、海南、重庆先行试点,
期刊
目的:基于超高效液相色谱-四极杆-静电场轨道阱高分辨质谱法(UPLC-Q-OrbitrapHRMS)、网络药理学方法及分子对接技术探索五味子治疗非酒精脂肪肝的物质基础与作用机制。方法:利用UPLC-Q-OrbitrapHRMS技术鉴定五味子中的化学成分。利用中药系统药理学数据库和分析平台(TCMSP)和SwissTargetPrediction在线平台筛选并预测五味子化学成分的潜在作用靶点;利用G
"京宫"与"康宫"是西周主要的王宫,对于"京宫"与"康宫"的性质,近百年来学术界争论不休,至今没有定论。本文依据西周金文资料,并结合文献记载,论证了西周的"京宫"与"康宫"都不是单纯的宗庙,而是王宫的总称,其中都有宗庙。"京宫"是以周王室在豳地居住的地名命名的王宫,其中有"太庙"和"周庙";而"康宫"是以康王的谥号命名的王宫,其中有"周庙"和"康庙",以及"康庙"中的昭宫、穆宫、夷宫、厉宫等宗庙。
目的:探讨芦竹碱对2,4-二硝基氯苯(DNCB)诱导的特应性皮炎(AD)小鼠模型的药效及其潜在作用机制。方法:分别设立正常组,模型组,地塞米松组(0.05 g·kg-1),芦竹碱高、低剂量(0.12,0.06 g·kg-1)组,除正常组外,其余各组均用DNCB刺激。在DNCB刺激后的13 d各组给予相应药物,治疗后观察皮损变化,测量各组皮肤厚度、水分含量,皮肤经皮水分丢失(TWEL);苏木素-伊红
新加坡著名作家尤今的创作体裁不窄:散文、小品文、小说、传记……但是,让中国读者印象深刻的还是她的小品文,特别是她的游记。著名作家梁羽生曾这样评价:"古人说王维的诗是‘诗中有画’,我似乎也可以说尤今的小说是‘小说中有游记’。"她的文字温暖耐读,富含哲理,其作品在上世纪90年代影响了许多人。目前她的很多文章还被收录进了中国和新加坡的语文教材和课外读本。其作品风格细腻,真实,真诚,
期刊
秦始皇长城:亡秦的因素秦始皇暮年热衷求仙,轻信方士。公元前215年,"燕人卢生使入海还,以鬼神事,因奏录图书,曰‘亡秦者胡也’。始皇乃使将军蒙恬发兵三十万人北击胡"[1]。时人称匈奴为"胡",秦始皇以为神仙的谶语说匈奴将灭秦,于是遣军征伐。丞相李斯反对并指出:"夫匈奴无城郭之居,委积之守,迁徙鸟举,难得而制也。轻兵深入,粮食必绝;踵粮以行,重不及事。得其地不足以为利也,遇其民不可役而守也。"
期刊
[目的]观察健脾止泻汤口服及保留灌肠联合西药治疗慢性结肠炎疗效。[方法]使用随机平行对照方法,将100例住院患者按抛硬币法简单随机分为两组。对照组50例甲硝唑,0.40.6g/次,3次/d;庆大霉素,80mg/次,4次/d。治疗组50例健脾止泻汤(黄芪、党参、白术炒各15g,升麻6g,山楂、鸡内金各15g,防风10g,力曲15g,山药淮、薏苡仁、茯苓各20g,藿香10g),1剂/d,水煎200m
[目的]观察中药保留灌肠联合健脾止泻汤治疗护理慢性结肠炎疗效。[方法]使用随机平行对照方法,将183例门诊及住院患者按就诊顺序编号随机分为两组。健脾止泻汤(防风、藿香各10g,薏苡仁、茯苓、淮山各20g,黄芪、党参、炒白术、内金、山楂、力曲各15g,升麻6g),1剂/d,水煎100mL,早晚口服。均实施心理、饮食、起居、灌肠等积极护理措施。对照组93例庆大霉素16万U+甲硝唑100mL行保留灌肠,