面向操作特性的数据存储模式及应用研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:llpgxyu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在业务需求不断增加的情况下,任务和数据密集型网络应用系统面临数据量迅速膨胀、数据形态不断扩张、用户种类不断增多的现状。根据数据操作特性对数据进行合理分割,并用合理的存储模式进行分布存储,对优化配置系统资源和提高系统运行性能具有重要作用。  Hbase是基于Hadoop HDFS的无模式列存数据库,以字节流形式存储不同形态的数据,可以依托廉价的服务器大规模扩展存储,可以借助MapReduce实现大规模数据的高效处理。本文分析了行键、列族、后台工作机制、负载分布等影响 Hbase整体性能的关键因素,通过研究任务和数据密集型网络应用系统中的数据操作特性,根据业务需求和功能要求制定数据分类分割策略。  本文以具体应用系统为依托,通过分析系统中原有数据存储模式随着业务量的扩展可能遇到的性能瓶颈问题,根据系统关键业务的数据操作特性,设计了以 Hbase为基础的结构化数据和非结构化数据分布式数据存储方案,通过对不同数据量下的基本性能的测试及使用 YCSB对Hbase在不同场景的数据读写性能的测试,分析了所提出的数据存储模式在该系统中应用的可行性及方法,为规划任务和数据密集型网络应用系统的存储策略和存储模式提供参考。
其他文献
在过去的几十年里,在线多媒体学术课件的应用取得了巨大增加,这些教育资源潜在地改变着人们的学习方式,而且随着文本检索技术和语音识别技术的日益成熟,如何更有效地在这些多
科学发展观实现了中国共产党在发展理论上的一次新飞跃,地方政府的发展也必须以科学发展观为统领,不断深化行政管理体制改革,转变政府职能,加快构建有利于科学发展的体制和机
随着无线自组网(MANET)应用的发展,传统的路由策略已经不能满足日益丰富的网络服务,尤其是在应对网络拓扑变化等不利因素时,传统路由协议更存在很多弊端。自适应策略逐渐得到
智能家居是物联网的热门领域之一,具有数量庞大及资源意义广泛的智能终端。由传感器产生的大量数据的网络传输和归类整理,以及终端资源意义的不断扩展都成为了智能家居的现有问
1.二手房的房龄大都比较长,如果通风、采光不好,室内空气中会有病菌漂浮,房屋的墙壁上也会有病菌粘附,结核等病菌在一定条件下可以存活很长时间,如不进行彻底消毒,住进来的
通过对会计教育环境的变化、高等会计教育目标、会计学科体系、教学活动实施、实验教学和实践环节、会计诚信等几个方面的问题分析,指出影响我国高等会计教育发展的首要症结
非结构化P2P (Peer-to-Peer)网络以其可靠性高、维护性好等特点在资源信息共享领域得到了广泛的应用,但网络中节点在对底层物理网络所知甚少的情况下任意选择逻辑邻居节点以
面对海量的数据,数据挖掘成为当前研究的热点。在海量数据集上进行数据挖掘,数据挖掘系统的性能成为其应用的主要瓶颈,作为数据密集型应用系统,数据检索是数据挖掘系统中最普遍的
今年我教授了《现代生产管理》这门课,收获很多,对于“6S”管理手段有了些许自己的看法.“6S”起源于日本,是一个比较成功的管理手段,对于学校班级的管理工作同样适用.
乡土资源在高校思政教学中的创造性、灵活开发、融合与应用有利于提升高校思政教改成效.基于此,本文以高校思政教改中乡土资源的开发方式和应用路径为分析对象,尝试解读乡土