HBase大对象存储方案的设计与实现

被引量 : 0次 | 上传用户:aaasssddd001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量数据的时代正在到来,随着互联网的急速发展,网络访问量、网络访问日志、通讯记录、视频资料、移动网络和各种智能终端所产生的巨大数据集的规模也在急剧扩大。而其数据集的一个重要特点体现在:超过80%的数据是非结构化的。传统技术无法胜任大数据集的分析、管理和挖掘,目前业界对于大数据处理的一种流行解决方案为HBase。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。而非结构化数据作为一个大对象(Large Object), HBase对其的处理与其他结构化数据一样,因此,在HBase的数据导入过程中,由于大量非结构化数据的导入,HBase的Region大小增长迅速,其Region的Split过程和Compact过程会频繁促发,在一定程度上卡住客户端的写入,影响HBase的插入性能。因此,如果能在插入时减少其HBase Region的Split和Compact次数肯定能在很大程度上提高其HBase的插入性能。与此同时我们也需要兼顾其读取的性能和存储的管理复杂度,并且在不引入外部因素的同时最小程度的修改HBase源代码。基于这些因素,提出自己的HBase的大对象存储(Large Object Storage, LOB)解决方案。
其他文献
民法基本原则是以实现民法既定任务和特定功能为目的的基本法律思想,非为裁判规范,但《德国民法典》之后的大陆法各国民法典均对之有明确表述,并超越了学说就《法国民法典》
汉语成语是中华传统民族精神的概括和缩影,是中华优秀古典智慧的结晶,蕴含着极其丰富的历史和文化内涵,在对外汉语教学中占有着重要地位。留学生学好成语对其汉语水平的提高、日
<正> 我国古代的招牌广告,固然是古代工商业发展的产物,但与古代文化的发展也有着密切的关系;古代的社会心理和风俗人情、伦理道德和职业道德、文学、绘画、书法、技术等,给
微囊藻水华对水生态及供水安全都有严重影响。本文从宁波市实际情况出发,结合国内外微囊藻研究成果,对微囊藻水华的成因进行探索。结果表明:宁波市微囊藻水华的影响因子主要
《保险法》在我国社会主义法律体系中占有重要位置,保险法律法规体系的建立和完善,关系着保险行业的健康发展和百姓的切身利益。从风险分担的角度来讲,它维系和促进着整个社会的
<正>我们这个时代之所以有时被称为图像时代,原因在于,机械复制手段的广泛运用带来了图像传播上的繁荣。由此引起人们对视觉文化的高度兴趣,也引发了研究者对视觉文化的大范
自我国加入世贸组织之后,世界经济一体化进程的加剧为我国社会主义市场经济的健康稳步发展带来了不少的机遇与挑战。其中,利率市场化的实质性变革就对包括商业银行在内的金融机
目的观察北京市学龄前儿童在外就餐行为及态度情况。方法采用整群随机抽样调查方法,选取北京市1550名学龄前儿童,采用封闭式问卷调查的形式进行学龄前儿童在外就餐行为及营养
对多孔吸声材料稳态流阻率的测量方法进行研究,基于理论公式和有限元模型,讨论参数选取对声学测量法测量精度的影响;提出一种新的声学测量方法,通过仿真和实验验证其可行性,并
<正>上个世纪50至70年代苏联先后开展了29次探月活动,其中19次达到预定效果,为以后探月提供了大量而必须的技术储备,这其中包括:飞船成功开展了两次载人绕月飞行——宇航员完
会议