基于Hadoop的录井数据集成平台研究

来源 :东北石油大学 | 被引量 : 1次 | 上传用户:guoshun9231
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
录井数据是录井解释业务的数据根基。伴随着录井数据的日积月累,传统的关系型数据库的存储分析性能已经远远不能满足客户的实际生产需要。加之从各钻探小队收集上来的原始录井解释数据具有多源异构的特点,使得每一个钻探小队的录井数据就像一个孤岛一样无法与其他小队的录井数据实现连接互动。从而导致了大量的录井解释数据无法实现共享和统一管理。因此,如何有效地存储录井数据并杜绝“数据孤岛”现象的产生便成为了一个亟需解决的生产问题。面对以上的问题,本文在钻探公司深入调研的基础之上,提出了一种基于Hadoop的录井数据集成方法,并完成了对该方法的系统实现。第一,针对传统关系数据库在存储录井数据上的瓶颈,选用Hadoop集群来完成对录井数据的分布式存储。特别在录井小文件集群存储方面对比了三种不同方法的优化效果,提出一种基于Map File的小文件存储策略。第二,在集群文件响应方面,通过引入LRU热点数据缓存算法、元数据回存机制构建出了一套复合式的集群文件存储访问模型。既解决了小文件集群存储的弊端又保证了集群热点文件的访问热度。第三,对原始的异构录井数据进行ETL数据处理,通过数据抽取、数据转换、数据清洗、数据装载的方式实现数据集成与分析的重要步骤。第四,进一步调研录井解释核心业务,以维度建模的形式设计出基于依赖性数据集市和操作型数据存储的数据仓库体系架构。依据业务主线,将业务数据由企业级数据仓库向下聚合加载至不同主题的数据集市中,为特定业务或者部门提供有效的数据支持服务。最后,利用OLAP联机分析处理对数据仓库中集成完毕的录井数据进行业务分析。在上述的研究成果之上,对基于Hadoop的录井数据集成系统进行实现。通过理论实验和现场测试的结果表明,本文所研究的方法对异构录井数据进行了有效的整合与优化。降低了录井数据的的转化和管理成本,极大的提高了录井解释业务的工作效率。实现了多源异构录井数据的共享与统一管理。
其他文献
遥感图像精细化地物要素分类在石油勘探开发、土地制图、城市建设和规划、农业发展、地物要素占比统计等应用中发挥着关键作用。目前高分辨率遥感图像地物分类任务尚存在如下问题:小地块分割缺失,地块边缘分割模糊以及细条状的道路、河流分割间断、不完整。本文针对上述不足进行研究,主要工作和创新点如下:1.针对为改善小目标与目标边缘分割提出的多尺度共享网络语义分割方法存在训练复杂度高,以及尺度注意力图在小目标与目标
学位
传统的危险物处置机器人主要以任务型单臂机器人为主,缺少灵巧操作能力,而仿人型双臂机器人相比于单臂机器人可以执行更为复杂的任务,具有更广泛的应用前景。本文在对比分析国内外典型危险物处置机器人的构型、控制方式、任务能力等基础上,聚焦于面向危险物处置的仿人机器人遥操作技术研究。本文针对隐蔽爆炸物处置的双臂松协调型任务和大体积化学品处置的双臂紧协调型任务,搭建机器人遥操作系统,分别对上述两类任务展开研究,
学位
在海上石油开采与运输中,最不可替代的重要交通工具就是油轮或护卫舰等舰船。因此,在广袤的海洋中从SAR遥感图像中检测舰船,从而对其进行监管,无论是在海上石油运输,还是港口石油监管中都有极其重要的意义。由于基于深度学习的SAR舰船检测器具有较强的学习和泛化能力,目前已取代基于手工特征提取的检测器。但是,在近岸复杂情况下,由于建筑、暗礁,岛屿等容易与小型舰船混淆,导致误检或漏检率较高;在星载或机载等条件
学位
面向室内环境的智能移动机器人技术越来越成为研究热点,而又有效的空间环境感知是智能移动机器人研究的重要子课题之一。鱼眼相机作为一种重要的视觉传感器,相比与普通相机能够感知到更多的空间信息,我们可以利用这些视觉信息来实现机器人的运动控制。本文提出了一种基于图像的视觉伺服方法(IBVS),该方法基于单个鱼眼相机实现了非完整移动机器人的走廊跟随和门口通过的自主导航任务。本视觉伺服方法主要由图像处理和控制律
学位
跳跃机器人拥有着良好的环境适应能力,可以在复杂的地理环境下进行探索任务。现有的跳跃机器人大多以弹簧或气缸作为驱动元件,电机及压缩气体为动力源,进行一次跳跃过程后,能够再次进行跳跃的难度较大。为了方便进行连续跳跃,本文在已有的仿蛙跳跃机器人平台的基础上,设计了一种适用于跳跃机器人的空中姿态调节的装置,并提出了姿态控制方法。本文首先针对姿态稳定任务对跳跃机器人进行了结构优化设计,使其具备姿态稳定能力,
学位
随着现代社会的发展,前列腺癌逐渐成为困扰男性的主要疾病,传统人工检测前列腺癌的方法效率低、不确定性大,且对医生的要求较高,难以进行大规模筛查来降低前列腺癌的发病率。为解决这一问题,本文依托实验室自主研发的前列腺穿刺手术机器人,针对前列腺超声图像的去噪、分割与三维重建方法进行了改进,医生可凭重建后的前列腺三维模型进行进针手术规划。本文通过前列腺穿刺手术机器人超声图像采集平台获取前列腺超声图像,研究了
学位
在地质勘探、地下资源预测等地质考察研究中经常将地质裂缝作为重要的研究对象,对地质裂缝的研究分析可以推测地质结构演化过程和探索地下矿产资源,因此这是具有重大实用价值且意义深远的一项重要议题。传统的人工识别地质裂缝方法误差大且效率低,造成大量的物力和人力资源的浪费,甚至有威胁生产安全。随着对地质裂缝特征的研究不断深入,深度学习、计算机视觉技术在地质裂缝识别的应用研究中得以广泛应用。本课题采用了适合地质
学位
视觉SLAM技术由于其传感器价格低廉以及环境感知能力强的特点正在被广泛用于移动机器人SLAM。作为感知手段为高精度定位系统提供丰富的环境语义信息也是最近的研究热点之一。复杂非结构化环境场景下的任务操作形机器人需要在定位建图的同时获得环境中物体级别的语义信息。这对视觉SLAM系统提出了新的挑战。首先,介绍了经典的SLAM系统框架及其数学描述,分析了传统VSLAM系统相机的单目模型、双目模型和RGB-
学位
报纸
2021年被视作“元宇宙元年”,元宇宙概念从文学、虚拟游戏视域走到大众面前。我国科技馆正在全面推进数字化、信息化建设,元宇宙的发展给科技馆的科普服务创新带来了新的契机,元宇宙与科技展项的虚拟展示让科技馆的展项、展品迸发出了勃勃生机。在元宇宙发展热潮的影响下,科技馆如何去实践、探索元宇宙技术的应用,真正解决科技馆数字化发展的难点,如何思考和展望未来发展道路,基于此,本文进行了相关探索,并提出了相关解
期刊