面向分布式图存储的图遍历框架的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:haicang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从第一款数据库管理系统——Integrated Data Store(IDS)的诞生到如今数据库市场的百花齐放,短短几十年,数据库领域发生了翻天覆地的变化。究其背后的原因,在于PC和移动设备市场的欣欣向荣以及21世纪的信息大爆发。近年来,随着新一轮的数据增长,各种非结构化数据占比不断增加,互联网信息数据的网状形态愈发凸显,而埋藏在网状结构下各种有价值信息的挖掘也成为人们关注的焦点。图数据库相较于关系型数据库有着对现实世界更贴切的描述和效率更高的关联查询,所以其在挖掘深度关联信息方面有着巨大的优势。未来随着数据量进一步增长,采取分布式存储的图数据库会逐渐成为主流。分布式存储使得单机图遍历扩展成分布式图遍历,其又带来子图遍历的跳转问题。分布式环境下的图遍历目前的基本方案是基于各种大数据平台,这类大数据平台的特点是与数据源分割并遵循一套通用的执行模式,所以无法避免地存在额外的数据转换开销且难以对图遍历场景进行优化的问题。为此本文设计并实现了一个面向分布式图存储的图遍历框架(Graph Traverse Framework,GTF),其主要面向分布式图数据库图查询功能中链式图遍历的场景。本文的主要工作和创新点如下:1)本文探讨了目前图数据库的分类,并分析目前主流的图数据库,剖析各自的优劣,针对目前分布式图数据库在链式图遍历方向研究的不足,提出GTF并完成整体设计。2)本文针对GTF提出异步执行模式和树型管理策略。异步执行模式使用一种类似洪泛路由的机制,让各个节点的执行互不干扰,在遍历过程中各节点不需要在每一个超步等待进行全局通信;树型管理策略是一种利用树型结构思想来管理任务执行情况的策略,其可以在几乎不增加网络开销的情况下平衡分布式图遍历过程中集群各节点的网络负载。3)更进一步地,本文在GTF的基础之上提出并实现了两种优化技术——数据分发和延迟转发。数据分发可以有效减少计算层节点的数据迁移;延迟转发可以在分布式遍历的中后期减少集群网络负载。4)本文对GTF进行了基本实现,并进行测试与分析。测试表明GTF能够完成基本功能,并在圈层性能测试中优于其他数据库。
其他文献
近年来,随着网络技术的不断更迭和发展,特别是5G技术的推出,从互联网上获取图像、音频、视频等多媒体信息变得更加方便快捷。互联网作为一种信息传播媒介,在推动信息文化交流的同时,也为不法分子传播色情信息提供了便利,特别是在网民年龄呈不断年轻化的趋势下。为了建立一个有利于青少年身心健康发展的网络环境,如何净化网络空间、过滤不良信息具有重要意义。本文的主要研究内容和贡献如下:1、由于尚未有公开的多领域图像
学位
“烟荷包形铜钺”是我国川渝地区春秋战国时期特有的一种代表性器物,对于进一步阐释极具特色的巴蜀青铜文化具有重要意义。本文以四川成都青白江区五里村战国墓葬群出土的19件铜钺为研究对象,对其分类后进行了铸造成型工艺分析,金相观察及合金配比分析,铅同位素比值分析等系列实验。研究结果发现:从铸造成型方式来看,此批铜钺均使用双面范进行浇铸,并且存在使用石范的可能性,通过X射线无损检测系统发现内部型腔具有多种形
学位
跨学科主题学习是以培养学生综合运用所学知识和方法解决实际问题为目标展开的学习方式,具有学科性、境脉性、协作性和融合性等特征。在数学教学中,教师可以通过确立真实性主题、梳理结构化内容、解构递进式任务,围绕大概念的理解展开整合性评价,逐步培养学生的核心素养。
期刊
为进一步发挥地理研学旅行的综合实践育人价值,本文围绕“区域发展”主题,融合历史、政治、美术等学科,提出基于跨学科主题的地理研学旅行策略。本文选取湖北省黄石市国家矿山公园为研学地点,从研学主题、研学目标、学科融合、研学路线、研学活动、研学内容、研学评价等七个方面进行案例设计,为基于跨学科主题学习的地理研学旅行的设计提供一种新的思路与方法。
期刊
西河滩遗址是我国西北地区发现的新石器时代晚期聚落遗址,也是有关四坝文化内涵的遗址,文化遗存丰富,记录着酒泉地区史前文化、人居环境、聚落形态、人群迁徙、文化交流等各方面信息,具有非常重要的历史价值。首先做好遗址保护是最基本、关键的问题,全面保护遗址本体和景观风貌,再者深入挖掘西河滩遗址的历史、科学和艺术价值,通过开发利用有效实现遗址的社会经济价值,使遗址保护利用与当地发展和民生改善相协调。大遗址保护
学位
脑肿瘤具有高发病率且易致死,是严重危害人类健康的疾病之一,由神经胶质细胞癌变引发的胶质瘤则是最常见的颅内脑肿瘤。随着医学成像技术、高性能计算机及深度学习算法的不断发展,医学图像处理在脑肿瘤疾病的诊断治疗方面发挥着越来越重要的作用。核磁共振成像(Magnetic Resonance Imaging,MRI)是医学上最重要的成像手段之一,其成像环境无电离辐射且是非侵入性的,同时还具有成像分辨率高,软组
学位
心律失常自动识别对于心律失常的及时诊断与治疗具有重要的临床意义。识别心律失常的一个重要依据就是其在心电图(Electrocardiogram,ECG)上的异常表现。但由于心律失常的类型较多,且不同类之间的ECG异常表现会重复或具有很高相似性,使得已有的基于机器学习的心律失常识别方法对于多类心律失常的识别效果不理想。在上述背景下,本文提出了两种新的基于深度学习的心律失常自动识别方法。首先,本文分别提
学位
在临床上,脑电图是研究脑科学的重要工具,也是评价脑功能状态的一个指标,它广泛应用于神经系统疾病以及精神疾病的诊断评估。如今分子生物学和神经影像学等技术快速发展,涌现出许多新的技术,推动了临床诊断以及神经科学领域的研究,但神经电生理技术在探讨脑功能的活动规律及各种疾病的辅助诊断等方面仍有其特有的优势。全麻是通过麻醉药物使中枢神经系统产生暂时抑制的模式。临床表现为全身痛觉消失、失去记忆、肌肉松弛,其基
学位
青铜文物为历史文明的研究提供重要的物质支撑,在基本建设考古前置背景的影响下,青铜文物的出土量日益剧增,随之而来的现实问题便是对于脆弱青铜器的保护研究有待进一步的突破。脆弱青铜器的研究与保护离不开大量的实物标本以及科学的分析检测,鉴于器物脆弱易损的特点,所采集的脆弱青铜器标本更显得尤为珍贵,如何提高标本的利用率,如何科学的存储、管理、利用标本以及进行相关的科学研究,是本研究的重点思考方向。本文的主要
学位
我国西部地区拥有丰富的水资源、有大量的水利水电工程建设,大部分区域都以农林、畜牧业为主要经济产业,径流预测对该区域经济发展规划非常重要。传统径流预测多是基于成熟的水文循环模型,但是径流值的影响因素非常多,各因素之间存在复杂的关系,其预测准确率高度依赖其他因素。而近年来较为热门的机器学习模型又很少结合气象因素等特征,只基于径流值本身的数据规律来进行预测,所以预测效果还有提升的空间。基于以上的问题,本
学位