面向分布式图数据库图查询和图计算混合引擎

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:nfu54153
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的快速发展已经渗透到各个行业,海量的非结构化数据逐渐增多,产生了大量分析数据之间关系的需求,例如知识图谱、社交网络等领域。相比传统的关系型数据库、以及传统的大数据处理系统,图系统处理海量的关联数据优势巨大。而图系统又分为两种类型,一是图数据库,查询图中的部分数据,要求查询响应快速,在低延迟下返回查询结果。二是图计算系统,对全图进行多次迭代计算,计算量巨大,耗时较长。在目前的研究中,大多数研究者对图数据库与图计算系统分别进行研究,但是在实际应用中,图查询和图计算是相互的,并拥有大量的相同特征,例如图存储、图分区、图索引等。本文针对上述问题,设计并实现了一个面向分布式图数据库图查询和图计算的混合引擎图系统HCQ-GDB。本文针对图存储空间的浪费、数据传输的成本、维护数据一致性的代价、缓存和索引的利用率等一系列问题进行了探讨,并通过结合图查询的图计算能够完成更高级、更复杂的计算任务。本文的主要工作内容以及创新点如下:1.图查询和图计算执行模式的统一和混合引擎图系统的整体设计:为了图查询和图计算执行模式的统一,高效利用系统资源,本文通过设计一系列分布式图计算算子,将它们的计算逻辑转化为DAG(有向无环图)物理执行计划,来进行任务调度,并给出了混合图系统的整体设计。2.图存储模型和缓存机制:针对复杂的非结构化图数据,本文设计了一个图存储模型,优化了空间开销、加速图的查询和计算等。由于图查询和图计算的不同IO请求,本文设计了一套缓存机制来同时满足图查询和图计算对资源的读写需求。3.图分区算法的改进和任务调度优化模型:因为图数据具有关联性,在分布式环境下,为了减少因为图的关联性而带来任务之间的网络通信开销,以及保证图数据的邻近性原则,本文设计并实现了一套优化的图分区算法。因为图查询对时延敏感,而图计算的计算量大,本文实现了一个分布式任务调度优化模型对任务进行调度,提高了系统整体性能。4.图计算同步和异步混合模型:不同的图算法在同步和异步模式的执行条件下,数据一致性、算法收敛以及执行开销都有所差别。在保证数据一致性的前提下,本文设计与实现了一套同步和异步混合执行模型,系统图计算的性能得到了提升。在测试中,本文对混合引擎图系统进行完整的基准功能测试以及基准性能测试。功能测试结果表明系统能够支撑大部分的图查询请求以及图计算请求,系统的相关算法以及核心技术能够完全正常执行并得到正确的结果。通过与其他图数据库和图计算系统进行性能对比,性能有明显的提升。
其他文献
“生活即教育”理论是由我国近代著名教育学家陶行知先生所提出的教育观点之一。在这一观点的阐述中,陶行知先生强调了生活与教育之间密不可分的关系,认为生活决定教育,而教育最终的目的是服务于生活,让学生能够通过教育改变生活,并主张教育要突破学校与社会之间的界限,让学生在生活中也能受到良好的教育,在学校中开展生活化教育模式。
期刊
近年来,江苏围绕党中央关于加强基层基础工作的决策部署,紧扣"强富美高"新江苏建设,坚持"干而论道",扎实开展基层干部教育培训,不断提高广大基层干部政治素养、专业能力和实战本领,切实扛起"争当表率、争做示范、走在前列"的使命担当。
期刊
随着工业化进程的推进,能源短缺已经日益明显,成为制约经济发展的重要因素,全球都在努力寻求可再生能源。生物秸秆是农业生产活动中产生的有机生物质,具有数量大、来源广泛、可以再利用等特点,为能源短缺问题提供了思路。文章对生物秸秆的处理方法进行总结,包括直接焚烧、加工饲料、生物分解、气化等,详细介绍处理过程,并对各个技术进行对比。
敦化市处于半山区,农作物秸秆持续全量还田对农业生产和生态环境的影响凸显,传统秸秆离田打捆又存在作业环节多、运输成本高、经济效益差等问题。为推广秸秆综合利用技术,考察调研了敦化市5个乡镇秸秆处理新机具新技术推广应用情况,分析秸秆综合利用技术的推广制约原因及分析,探讨推广政策,提出了农作物秸秆综合利用的建议,为敦化市探寻秸秆利用新途径提供了借鉴。
2020年初春,新冠疫情来势汹汹,世界经济面临重大考验。为控制疫情,多国采取"闭门"政策,严格限制境内外物流、人流,以出口订单为根本的跨境电商企业更是陷入停顿。本文基于疫情防控背景,以泉州中小外贸企业为例,尝试探寻跨境电商发展新模式,指出中小企业要走出困境寻求发展,就要审时度势,加速转型升级,实现内销融合的跨境电商新模式,进而提出相应的对策建议。
随着互联网技术的发展,数据呈现井喷的趋势,大数据成为信息时代的主旋律。对于数据库领域而言,随之面临的难题就是如何有效的组织和管理数据。为了满足存储的需求,不断催生了许多新型架构的数据库,但是对于查询性能的优化还未能取得突破性的发展。如何提升数据库查询执行性能,一直是数据库领域的重要研究方向,传统数据库查询优化方法已经无法胜任当前大规模的数据量以及新型架构的数据库。得益于人工智能技术的成熟发展,利用
钢筋锈蚀是导致海洋混凝土结构失效破坏的最主要原因,探明钢筋锈胀应力发展及其诱导混凝土开裂的过程对于钢筋混凝土服役寿命预测有重要意义。采用内掺盐与恒电位加速砂浆内钢筋锈蚀,通过砂浆外不锈钢圆环环贴应变片实现钢筋锈蚀过程的应变监测并计算锈胀应力,利用COMSOL软件分析混凝土中钢筋锈胀应力发展及混凝土锈胀开裂历程。结果表明:利用有限元与钢筋锈胀时变径向位移加载,实现钢筋混凝土锈胀开裂过程的模拟与试验,
毛泽东在中国革命和建设过程中,关注民生并着力解放民生,为党领导人民进一步提升、发展和改善民生奠定了坚实的基础。其历史贡献和理论意蕴主要表现在:确立"一个宗旨",提出以民为本的执政理念与工作要求;完成"两次革命",创设解放民生的政治保证和制度前提;协调"三者利益",探索解决民生的基本途径与根本方法。
目的:统筹院前院内急救资源,建立院前院内衔接路径与衔接机制,实现院前院内急救信息共享。方法:基于院前院内急救医疗应用场景要求,遵循模块化、流程化、规范化设计开发理念,采用Netty框架及Kotlin开发语言实现多个独立系统的数据集成共享和移动端应用。结果:有效整合院前院内急救资源,统一急救信息输入与输出路径,实现了26家医院系统的有效衔接,强化了急救体系建设与预警联动,助力于精益化急救流程与管理,