基于倒排索引的IPFS分布式存储关键词搜索系统研究与实现

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:ufs6756dude
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了满足大数据背景下不断增长的数据应用需求,存储系统正在由传统的集中式架构向分布式架构演进。星际文件系统(IPFS)是一个新兴的分布式文件系统,它用相同的连接方式将所有异构的设备连接组成一个存储网络。信息搜索工具在庞大的互联网数据面前扮演着越来越重要的角色,现有IPFS关键词搜索方案大多基于分布式哈希表建立索引,分布式哈希表查询效率低,搜索响应时延较长且相关索引数据可能无法完整返回。基于此本文提出一种基于倒排索引的关键词索引方案,本文的主要工作如下:首先,针对分布式哈希表精确查找效率低且可能出现查询不彻底的问题,提出一种基于倒排索引的关键词索引方案。该方案中每个IPFS节点对自己本地的文件建立索引,主题词相同的文件索引使用同一Merkle DAG存储,并使用存储引擎维护单词与Merkel DAG的映射关系。相较于基于分布式哈希表的索引,倒排索引一次查询返回全部索引,可以实现更快更彻底的搜索。其次,证明了基于CRDT的G-Set的倒排索引具有强最终一致性,进而提出一种节点间倒排索引反熵算法。在该算法中节点基于发布订阅模式传递自身的索引状态,基于CRDT的G-Set维护倒排索引的一致性。通过该算法单个节点可以同步整个IPFS网络内的索引信息,执行搜索时节点查询自身维护的索引信息,解决了通过分布式哈希表查询造成较大网络负担的问题。随后提出两种索引存储模式:全节点与轻节点,全节点保存全部索引信息,可以独立搜索;轻节点仅保存索引条目的哈希,需要依靠全节点完成搜索。节点可基于自身存储空间、搜索频率以及对时延的要求灵活选择索引存储模式。最后,结合上述方案设计并实现了基于倒排索引的IPFS关键词搜索系统,并以搜索响应时间、索引同步时间和索引存储消耗三个指标测试了系统性能。实验数据表明,本系统在牺牲较小的存储空间的情况下缩短了搜索响应时间。本文所提出的IPFS关键词搜索方案具有查询响应快、搜索稳定性高、无单点故障、索引数据共享等特点。
其他文献
新型城镇化的发展是社会现代化的必由之路。在“十三五”的收官之年,新型城镇化的发展已经有所成效,摒弃传统城镇化中建设不合理、发展不均衡、生态环保不注重等问题,发展好新型城镇化才是解决山西省整体及11市发展问题的关键。基于掌握新型城镇化相关内涵以及阅读文献的深层次研究上,本文从经济发展、社会进步、基础设施、城乡统筹以及生态环境5个层面选取指标构建新型城镇化综合评价指标体系。首先运用因子分析法优化评价指
<正>习近平总书记强调,要始终坚持以人民为中心的发展思想,更好满足人民群众和实体经济多样化的金融需求。维护金融安全,是关系我国经济社会发展全局的一件带有战略性、根本性的大事。金融活,经济活;金融稳,经济稳。如何运用数字化的技术创新服务好小微企业、“三农”、绿色发展等实体经济领域,同时做到对风险的先知、先觉、先行,切实维护金融安全与稳定,是金融机构共同面临的课题。近年来,平安银行坚守初心使命,将落实
期刊
英雄模范精神的力量是无穷的。英雄模范精神是时代主流价值的有效彰显,是社会主义核心价值观的生动表达。两者在价值目标、价值功能和生成规律上具有内在契合性。新时代思想价值领域面临着复杂多变的形势。弘扬英雄模范精神,对于社会主义核心价值观建设具有重要意义。因此,通过选树、宣传和学习等措施,弘扬英雄模范精神,可以有效推动社会主义核心价值观的培育、传播和践行。
以“写作任务”促进整本书“深度阅读”的教学实践以作品本身、学习支架理论和语文学科课程标准为逻辑起点,以《四世同堂》这部中国现代小说的经典之作为例,通过“写在初读——促进理解整合、写在精读——促进质疑论证、写在研读——旨在拓展研讨”的实践路径,引导学生对整本书展开深入阅读。在“微写作”活动的设计上,提出注意写作任务的情境化、注意写作任务的阶段性、注意写作任务的有序性,引导学生置身情境、循序渐进地通过
本文从"话语是建构社会现实的手段"这一观点出发,基于美国修辞学家肯尼斯·伯克的"辞屏"概念及其相关理论,分析英国《经济学人》杂志有关中非关系的报道话语,试图通过实证分析把握其就中非关系所构建的媒体现实和世界图景。研究发现,《经济学人》关于中非关系的报道通过话语修辞形成了一个内在互相勾连的辞屏,并在话语传播实践中形成了一定的辞屏效应,建构了反映报道者意识形态的关于中非往来的主观现实,并试图干扰受众对
随着企业对采购精细化管理的要求,数字化采购开始由ERP时代迈向SRM时代。狭义的数字化采购即SRM(供应商关系管理)软件,覆盖从采购寻源到交付结算、供应商评估的整个生命周期,能够对主营物资、非主营物资进行不同颗粒度的管理。企业采购流程复杂、品类繁多,供应链流转效率低、成本居高不下制约企业发展。科学运用数字化采购的手段,可以帮助企业低成本、高效率地构建紧密采购与供应关系,提高库存周转率,加快供应链响
会议
暖通空调(heating, ventilation, and air conditioning, HVAC)系统是目前营造健康、舒适封闭/半封闭空间环境的重要手段,但现有HVAC系统不仅能耗高,而且容易引起人体健康问题,比如病态建筑综合征、建筑相关疾病、传染性疾病交叉感染等.上述现象进一步说明由HVAC系统末端形成的室内气流组织(基于传统方法)仍不够完美,存在一定的盲区与不足.为了解决传统HVAC
<正>液压系统是实现飞机操纵控制、姿态调整,确保飞行安全的重要功能系统。与机械传动、电气传动和气压传动等传动方式相比,液压传动能够输出较大的推力和转矩,实现低速大吨位的传动,且其体积小、重量轻、结构紧凑,在现代飞机中得到了广泛的应用。目前,市场上主要在运营飞机包括波音和空客系列,以及我国商飞的ARJ21和C919客机,
期刊
乳腺增生是一种乳腺结构紊乱的良性乳腺疾病,如今乳腺增生在女性群体中发病率逐年上涨,病因与机体的雌激素与孕激素比例失调相关,症状表现为乳房疼痛、乳房结节或乳头溢液,常伴随心理压力使病情逐渐向乳腺癌恶化,因此有必要及时且有效治疗症状。目前中医常用中药口服或外敷、针灸推拿等治疗乳腺增生,西医用抗激素药物或手术治疗。中药能调节激素水平以治疗乳腺增生,针灸等方法能刺激穴位使乳房肿块减小,但传统的中药长期服用
近几年来,广西积极开展医养结合探索。但仍存在养老机构办"医"的体制机制不畅、医疗机构和养老机构参与积极性不同、养老机构医养结合供给能力亟待提高、专业医护人员严重不足等问题。建议完善政策支持体系,规范引导有序发展,丰富医养结合产品服务供给,加强医养结合专业人才队伍建设。