基于SQL和NoSQL的混合存储系统的设计与实现

来源 :北京理工大学 | 被引量 : 0次 | 上传用户:qq165247254
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在这个大数据的时代,人们生活不断便捷丰富的同时,也面临着如何处理和存储海量数据的挑战。在交通物流领域,面对种类和体量迅猛增长的交通监测数据,传统的关系型数据库解决方案虽然具有支持数据的顺序扫描、复杂查询同时兼具强大索引功能的优点,但是其对于大数据处理性能和可扩展性的不足也成为了它的瓶颈。而NoSQL数据库作为一种新兴的存储解决方案,具有高可扩展、高可用等特点。因此,如何结合两种数据库的优点,使其能满足海量交通数据的存储和挖掘,具有重要的意义。本文针对上述问题,设计并实现了一个基于关系数据库MySQL和NoSQL数据库HBase的混合存储系统。本文首先对HBase的查询过程进行了深入的研究,提出了基于MySQL二级索引的混合架构查询优化方案。该方案的特点在于:通过对HBase在MySQL上建立索引表,减少了查询访问HBase的次数,同时利用MySQL支持SQL语言、查询快速的特点,提升了HBase数据查询检索性能。接着基于上述研究成果,设计并实现了一个海量交通监测数据的混合存储系统。该系统除了实现存储查询功能外,还运用消息队列Kafka和实时流数据处理工具Storm实现了数据的预处理,同时通过基于Sequence File文件合并,解决了HDFS小文件存储的问题。最后,本文搭建了实验平台,对混合存储系统的数据写入和查询进行了详细的对比性能测试。实验结果表明,本文提出的混合存储系统不仅具有高可扩展性和高可用性,而且与其他NoSQL数据库相比,具有支持SQL复杂查询和读写性能更优的特性,为海量数据的存储提供了一个可供选择的方案,具有一定的工程价值和使用意义。
其他文献
该文提出一种基于Gabor小波变换幅值特征和相位特征相融合的ISAR像目标识别算法。首先将ISAR像进行Gabor多尺度分析,对不同尺度、不同方向的Gabor幅值图像划分为若干矩形不重
江苏新海发电有限公司1号机组捞渣机尾部西侧内导轮运行中脱落,专业人员研究决定降低机组负荷,隔离部分渣船水封在线更换内导轮总成,不得已时短时破坏炉底水封进行处理。为了
群团事业是党的事业的重要组成部分,加强和改进群团工作是当前的一项重大改革任务。深圳市残联以组织架构的社会化改革委切入点,广泛撬动激活社会资源,创建公益合作模式,率先
广西出版传媒集团以东盟为中心,以"一带一路"交汇带为基地,不断取得"一带一路"沿线国家版权输出新突破,成为全国向东盟国家输出版权最多的出版集团之一。
卵巢囊肿是妇科常见肿瘤之一,临床症状早期多不明显,肿块增大后,出现腹部不适、白带异常、月经紊乱、腹部可触及包块及压迫性症状等。临床常通过影像学表现明确诊断,腹部超声
“如果还有人愿意从东城跑到西城,和你吃一顿不谈事儿的饭,就可以说是生死之交了.”去年夏天刷爆朋友圈的文章《北京,有2000万人假装在生活》中,曾这样描绘大都市里的人际交
王安忆认为浪漫主义是一切艺术之根。最好的作家应该富有浪漫气质。在20多年的小说创作中,王安忆努力构筑一个表现心灵的小说世界。她采用淡化情节、营造诗意意境、心理分析和
目的探讨治疗、干预、控制代谢综合征(MS)患者病情进展的方法。方法通过健康管理中心体检发现MS者,随机分成干预组和对照组,对干预组进行包括评估、改变生活方式、药物治疗等
盆花智能浇水系统,以单片机STC89C51作为主控芯片,用土壤湿度传感器作为感应器件,将检测到的数据送入单片机,LCD1602显示其当前湿度值,并将实时检测湿度值与预先设定的上下限
随着我国“十三五”转型时期的到来,我国高等职业教育也迈入了一个科学、高速发展的新时期。随着国家对高等教育投资力度的加大,高职院校内外部环境都发生了转变。例如投资渠道