基于hadoop的地震数据分布式存储策略的研究

被引量 : 0次 | 上传用户:ping996115122xing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在实际地震资料的处理时,影响数据处理效率的因素有很多,从整体上说,影响地震数据处理效率主要分为软件和硬件两个方面,也就是访问方法和访问环境的配置。但是由于访问方法的不断开发优化和服务器存储访问环境的更新需求造成了巨大的经费开销的同时访问方法的优化也越来越困难。为了解决访问方法优化开发的瓶颈和存储服务器更新代价两方面问题,本文通过对地震数据存储特性的研究,基于Hadoop对当前大数据存储访问技术,提出基于Hadoop的地震数据分布式存储策略,并通过该存储策略优化地震数据的存储访问环境,提高设备利用率。本文具体研究内容如下:1.Hadoop的地震数据分布式存储适应性研究;对Hadoop分布式框架的数据存储结构与地震数据的数据结构、访问特性等方面进行适应性研究,同时对地震数据分布式存储所需要考虑的组织结构、集群配置因素进行考量。通过Hadoop的数据访问方法与地震数据访问方法的有效结合,以廉价集群为前提,提出地震数据分布式存储策略的整体框架。2.地震数据分布式存储的组织策略;根据Hadoop集群环境的特性,对地震数据的分块大小、数据块分配、数据完整性进行组织,组织之后对环境参数合理配置,使之更高效的存储在Hadoop的分布式文件系统中。并通过实验来验证最符合于地震数据特性的环境参数配置及最优的数据组织策略。3.基于Hadoop的地震数据存取模块的设计;为了进一步验证Hadoop对地震数据的分布式计算的优势,本文将通过对Hadoop编程框架MapReduce和目前地震数据存取模块同时进行开发,并将两种环境下的存取模块进行对比,通过改变相应的环境参数来验证Hadoop地震数据分布式存储的高效性,并得出分布式节点个数和数据大小的不同对数据访问效率的影响。最后综合本文的研究内容,实现其各个优化技术,提出完整的地震数据分布式存储策略。以此来验证本文提出的相关优化技术和方法的可行性和有效性。
其他文献
随着大数据技术的日渐成熟,大资管时代已经来临。互联网金融产品的飞速发展加快了利率市场化的进程,给传统商业银行的业务开展带来巨大的冲击。在此情况下,传统银行依靠存贷
房地产归属于第三产业,在我国的三大产业中目前已占据着重要的地位,对国民经济的发展影响深远。现在的房地产业企业大都是资金密集型产业,这是因为房地产都是大型的产业,一般
目的探讨血清蛋白电泳、总蛋白、免疫球蛋白及轻链、蛋白电泳、免疫固定电泳测定对多发性骨髓瘤(MM)的诊断价值。方法对89例多发性骨髓瘤患者的血清总蛋白、免疫球蛋白及轻链
本文就如何在教学中增强学生的审题意识,培养学生的审题习惯,提高学生的审题能力,增强学生的审题信心,谈了几点个人教学体会。
中国证券市场在二十余年的发展中,取得了备受瞩目的成绩,同时财务舞弊现象也一直存在。证券市场对国民经济的影响力在加深,但由于多方面的因素,例如信息不对称与监管不完善等
当代教师不再只是知识的传播者,还是智力的开发者、学习的指导者和未来的设计者。当代教师必须与时俱进,树立现代教育理念,形成现代教师观、新型师生观、平等学生观和全面质量观
随着世界金融一体化的不断推进,各国商业银行的竞争压力不断提升,金融创新也层出不穷,商业银行的内部风险不断加剧,2007年美国次贷危机全面爆发,短期内导致多家商业银行受到
汉语同素逆序物象词是一种值得关注的词汇类聚现象。从词义类型上看,同素逆序物象词分为词义完全相同、词义不完全相同两种;从语法结构上看,主要有偏正式、联合式两类;从年代分布
<正>"快快快,那边有节目,大家快来!"有时盲人会呼朋唤友"欣赏节目",此时一墙之隔,盲人蹑手蹑脚、竖起耳朵,"嘘,快听!"另一面的听障人情到深处,浑然不觉。幼时每当电视中出现"
<正> 伯乐相马的故事可说是妇孺皆知,人们对伯乐的相马技术十分敬佩。然而,伯乐相马却不负责用马,这一状况却又令人感到遗憾。如今,在我们的人才问题上就存在类似情况,现在是
期刊