基于RDMA的分布式数据库内存存储系统

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:OMG168
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会经济文化的高速发展,数据分析处理技术越来越重要。然而在数据量极剧增长的今天,传统数据库在分析速度、可拓展性上显得愈发力不从心,随着内存价格的降低以及分布式系统理论的完善,分布式内存数据库应运而生。在突破磁盘IO性能瓶颈及传统行式数据存储模型后,分布式内存数据库在海量数据处理方面取得巨大的进步。然而分布式内存数据库系统仍然存在着三个问题,一是在计算节点到数据存储节点的数据传输过程中网络开销过大。二是存储系统在数据查询过程中,需要承担数据预筛选任务,而CPU计算并行度不高,计算速度慢,无法对海量数据进行快速筛选。三是由于分布式数据存储节点容易出现数据热点问题,需要及时对存储系统进行负载均衡。针对这些问题,本文在实验室现有分布式数据库Goldfish的基础上,采用RDMA网络技术、GPU加速技术构建基于内存的分布式存储系统以提高整体数据库的查询效率,并对系统负载均衡进行了研究。本文主要完成了以下几个方面的工作:1)针对分布式内存数据库网络IO的瓶颈问题,深入分析现有的TCP/IP和Infiniband网络架构,构建了一套基于RDMA的网络通信框架。同时针对RDMA网络硬件覆盖率较低的问题,构建了基于TCP网络通信框架以适配没有RDMA网卡的设备。2)针对CPU在计算并行性低的问题,设计并实现了基于GPU加速计算来快速对数据进行查询预处理的方案。并且通过使用RDMA网络技术,避免了从GPU内存到CPU内存的一次数据拷贝开销。3)基于RDMA网络框架,设计并实现了分布式数据库内存存储系统,针对列式数据可压缩的特性,在字典压缩算法的基础上,实现了具有高压缩性、快速查询特性的GroupKey Index数据结构,设计并实现支持插入操作的ZSET数据结构,提高数据库系统的内存利用率及功能性。4)针对分布式内存存储系统中容易出现数据热点的问题,提出了一种动态负载均衡的数据迁移算法,由中心元数据控制节点自动完成对高负载节点中的热点数据的迁移工作,实现数据存储系统的负载均衡。
其他文献
温州国际旅行卫生保健中心是温州出入境检验检疫局直属事业单位,是中国国际旅行卫生保健协会指定为出入境人员提供保健服务的定点医疗机构,是国家质检总局公布的第一批达标保健
陈××,男,45岁.饮酒后出现排柏油样大便1次,量约200mL,伴呕吐鲜红色胃内容物1h,量约400mL,入院.12年前因"十二指肠球部溃疡"行胃大部分切除术,半年前曾体检,胃纤维
近年来,中国消费者可支配收入增加了。今年初,据国家统计局官方数据显示,中国的人均可支配收入同比增长6.3%,比前一年增长7.4%。
[目的]对旧标本管存在的问题,从制作方法上进行改进.[方法]从标本管的标签、底部木塞、防腐剂的放置等方面作适当的改动.[结果]新制作的标本管标签上的标识清楚、完整;立体放
目的:探究在低度腰椎滑脱行手术治疗的患者中,复位程度是否影响其临床疗效和脊柱-骨盆矢状面平衡的重建。方法:回顾性研究分析吉林大学第二医院脊柱外科于2014年01月-2016年0
随着网络媒体的迅速发展,人们对传统电视节目的关注度有所降低,同时也对电视节目的要求越来越高。年轻受众对求职、创业类电视节目关注度相对较高,想要在制作方面迎合年轻受
目的:探讨颈牵态下磁场电脉冲疗法对神经根型颈椎病的疗效。方法:70例神经根型颈椎病患者分为治疗组与对照组各35例,治疗组采用颈牵态下磁场电脉冲疗法,对照组仅用颈牵引治疗及TD
【正】 地租问题是马克思列宁主义政治经济学中的重要问题之一,同时也是一个相当复杂的理论问题,而对于地租问题的研究,无论在理论上或实践上都具有重大的意义。科学的地租理
昂高公司从农业废弃物研发出EarthColors新系列天然染料。染料源自农业废弃物,如杏壳、锯棕榈、迷迭香叶等,可为牛仔服和休闲服的印染加工提供丰富的红色、棕色和绿色。消费者
为提升羊毛织物的白度,同时延缓其光黄变速率,采用氧化漂白和氧化,还原联合漂白工艺对其进行处理,并对漂白羊毛进行紫外线光照试验,测试其光黄变历程,探讨了漂白工艺对羊毛形貌与光