【摘 要】
：
随着数字油田与油田物联网的高速发展,油田生产过程中各类生产数据得到了有效存储,这些数据真实可靠的记录了油井状况,具有非常高的真实性和研究价值,有效分析并利用这些数据可以更好的指导油气生产和战略决策。目前油田在数据处理方面存在分析方法单一、相关技术人才不足、缺乏对大数据挖掘全生命周期的管理支持、数据分析操作过于复杂并缺乏灵活性等问题,因此油田迫切需要智能大数据处理平台实现油田数据的灵活处理。为解决上
论文部分内容阅读
随着数字油田与油田物联网的高速发展,油田生产过程中各类生产数据得到了有效存储,这些数据真实可靠的记录了油井状况,具有非常高的真实性和研究价值,有效分析并利用这些数据可以更好的指导油气生产和战略决策。目前油田在数据处理方面存在分析方法单一、相关技术人才不足、缺乏对大数据挖掘全生命周期的管理支持、数据分析操作过于复杂并缺乏灵活性等问题,因此油田迫切需要智能大数据处理平台实现油田数据的灵活处理。为解决上述问题,本课题提出了基于微服务的石油大数据智能挖掘平台BPDMP（Big Petroleum Data Mining Platform）。BPDMP融合了快慢结合的云计算支撑平台,设计并实现了从数据采集、存储、分析、大数据可视化等全生命周期一站式的数据分析与处理模式,主要包括基于拖拽方式完成可定制化数据处理流程;基于Spark实现了油田常用的预处理算法和数据挖掘算法;基于HBase、HDFS实现了油田海量数据的存储并基于Hive建立了数据仓库;基于Docker容器技术完成了平台的部署。BPDMP以友好的用户界面屏蔽了底层的技术实现,使用户仅通过简单易用的界面即可完成油田数据处理,实现数据挖掘全生命周期管理,降低了数据挖掘分析难度,提高了用户对数据的分析效率和利用率。
其他文献
近几年来,口腔科中的隐形正畸技术得到了快速发展,目前牙齿正畸技术大致分为有托槽正畸技术和无托槽正畸技术,隐形正畸属于无托槽正畸,其使用的隐形牙套需要从3 D打印的热压模型上沿患者牙龈线切割分离下来。目前,对于热压模型的切割一般采用人工切割,面对日趋旺盛的市场,人工切割效率低,仅仅依靠人工切割是远远不够的;并且人工切割后的透明热压膜片较粗糙,需要进行二次加工;从2014年以来,我国每年采用隐形正畸技
目前国内对石油的需求与日俱增,物探作业作为石油开采的首要环节,如何保证其安全平稳运行逐渐受到更多人的关注。然而其作业流动性强、参与人员多、作业环境复杂多变,致使物探事故时有发生。随着物探项目的进行,逐渐积累了大量的文本类型的事故案例,如何从中挖掘出高价值信息并应用在日常的安全管理中,对降低物探事故的发生有重要意义。物探事故案例数据的语言描述专业性强,需要结合具体的背景知识来开展数据挖掘,难以用常规
在石油工业的传输交接过程中,体积管是一种常用的流量计检定装置,体积管周期检定的准确度直接影响流量计的计量性能,并关系到油田的经济效益与计量信誉。针对当前使用的体积管检定系统存在着自动化水平不高、检定精度和效率较低、检定操作人员劳动强度大等问题,本文研究与设计了一套基于图像识别的体积管自动检定系统,完成的主要工作与成果如下:(1)根据体积管检定原理,确定了系统功能需求与参数技术指标,完成了系统总体方
随着通信网络和智能手机的不断发展,移动支付已成为人们日常生活中交易的主流方式之一,使人们的生活更加便捷。目前,支付宝、微信加入了人脸识别支付和指纹识别支付等单模认证支付方式,使得支付环境得到了加强。但是人脸指纹等单模特征识别仍然存在着一些弊端。例如:单模生物特征在光照、表情变换等复杂环境下识别效果会受到影响,并且还容易被不法分子伪造。为了解决这些弊端,进一步提高安全性能和识别性能,一种非常具有潜力
近年来,随着无线通信技术、定位技术的不断发展,智能终端设备广泛普及,人们的生活方式和工作方式越来越多的依赖于移动终端设备,使得目前基于位置的服务(Location-based Service,LBS)日益盛行。用户使用LBS服务时需要依托移动设备将自身位置发送给位置服务提供商以获取相应的位置服务。然而,LBS在赋予社会大众巨大便利的同时,个人位置信息也时常遭到泄露。当用户的位置信息遭到恶意攻击者攻
近年来物联网(Internet of Things,Io Ts)的发展日新月异,而作为物联网的核心技术之一,射频识别(Radio Frequency Identification,RFID)技术已被广泛应用到诸多领域,如物流追踪、仓库管理、交通运输、商品零售等,并取得了巨大经济效益。比如在仓库管理系统中,需要实时监测某些贵重物品,防止其丢失以造成巨大的损失。而在RFID系统中,丢失货物的检测则可以
随着计算机视觉的不断发展,视频摘要技术已经广泛应用于人们生活的方方面面。目前,计算机硬件的性能不断提升,日常生活中产生的视频数据急剧增加,为基于海量数据研究的视频摘要提供了良好的机遇。视频摘要是指通过对视频结构和内容的分析提取出有代表性的部分,再以某种方式组合成概要,它能充分表达视频的主要内容。算法研究中,特征的描述能力不足易造成关键内容检测不当,使摘要效果变差。而且视频摘要的选取需要满足不同用户
进程间通信是操作系统功能中的重要组成部分。操作系统内核提供进程间通信功能,并为用户进程提供接口,用户进程通过系统调用,可依据需求,采用不同的进程间通信机制完成信息的发送、接收。本文阐述基于Intel体系结构的操作系统原型FishOS内核中进程间通信模块的设计与实现,详细说明如何实现本地进程间通信功能以及异地进程间通信功能。本课题在Linux环境下实现了基于FAT32文件系统的自启动系统引导程序、键
进入21世纪以来,物联网(Internet of Things,Io Ts)技术发展迅速,在许多领域得到广泛应用。例如物联网在智能物流、智能交通、智能建筑、环境监测等方面的应用,取得了重大突破,极大的影响了人们的生产和生活方式,提高了生产力,使人类社会更加智能、高效。无线射频识别(Radio Frequency Identification,RFID)技术是物联网技术的核心支撑技术,RFID技术的
随着物联网的快速发展,数据融合技术已被广泛用于处理物联网环境中产生的大量数据。数据融合是物联网多源信息综合处理的一项新技术,它能将来自某一目标的多源信息提取、处理、分析、综合多传感时空上的冗余或者互补信息,从而生成比单一信源更精确、更完全的估计和决策。物联网环境中的数据融合需要收集和处理具有混合时间特征的各种数据,包括实时和非实时数据。目前数据融合的大多数研究都是关于数据处理方面的,但是数据融合需