一种基于深度学习的数据无损压缩方法及在测井大规模数据存储中的应用

来源 :电子测量技术 | 被引量 : 0次 | 上传用户:cjrck
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为解决海量测井数据归档存储场景中出现的存储硬件和数据库存储容量限制等问题,提出了一种基于深度学习的数据无损压缩方法,采用循环神经网络RNN作为概率预测器,输出数据流的条件概率分布,结合当前字节值,使用自适应算术编码器对数据流进行压缩;解压过程中,使用保存的RNN网络权重和算术解码器,对数据流进行解压.所提方法较传统无损压缩方法,在一维测井数据的实际压缩测试中压缩率平均提升约23%,在二维阵列测井数据上,平均提升约21%.同时,结合数据无损压缩方法,提出一种基于多维特征索引查询树结构的测井大型存储数据库的构建方法,在多条件组合查询时,较传统数据库查询方法检索效率平均提升约45%.结果表明,所提方法可有效减少测井数据的存储空间,降低数据的检索时间,为大规模测井数据的存储和利用提供了技术基础,节约数据归档的硬件成本和人力成本.
其他文献
针对传统电磁检测技术对金属内部缺陷检测能力不足问题,提出一种基于深度学习与电磁检测的金属板材表面和内部缺陷识别方法。实验建立了不同深度、位置、数量的9类表面与内部典型气隙缺陷模型,验证了多频检测可行性,考虑阵列传感器激励电压与感应电压关系,引入保持平衡性的数据采集方法扩充数据集并预处理;构建DNN与CNN深度学习网络对各类检测数据特征训练,并由实验效果选取合适参数的网络。实验结果表明,应用DNN或
由于测井数据标签的连续性特点,数据样本间具有较强的上下文关联性.针对现有岩性识别方法所构造基本识别单元无法充分利用测井信号曲线连续性提供的上下文信息的问题,提出了
基于迈克尔逊干涉原理,利用干涉成像原理和图像处理技术,提出了利用干涉条纹半径变化情况来获取干涉条纹位移信息的方法。该方法以面阵CCD相机采集的图像为处理对象,采用去噪、顶帽变换、二值化、形态学处理等预处理操作,再利用连通域特征识别得到图像中心亮干涉条纹的半径。通过半径的变化趋势与幅度,实现位移信息提取。实验表明,所提方法突破了干涉条纹计数时位移检测最高分辨率为λ/2的限制,利用了每帧干涉图像所提供
为解决物流机器人定位及姿态保持难、交互性差、搬运抓取任务单一等问题,设计一种可以通过DT-06WIFI模块从服务器端获取任务,或利用Openmv扫描二维码获取任务并能通过其识别
针对定性数据环境下分类精度低且计算成本高的问题,提出了一种利用传统分类器和不同映射技术来提高类别可分性的分类变量识别方法.通过将初始特征(分类属性)映射到实数域空间
本文提出一种用主动色彩控制来检测平板显示器(FPD)系统扫描图像的方法,利用混合色源的大功率发光二极管(LED)和通信端口来调节光源亮度,混合光在经过扩束器并形成线束后照射到有源矩阵有机发光二极管(AMOLED)面板上。对扫描图像进行强度校正后,利用Tenenbaum梯度评估图像质量,结合单纯形搜索法(SSM)确定调光等级使图像质量最大化。每次扫描AMOLED面板后,光的颜色都会发生变化,并且会反
针对单一传感器在智能车辆目标检测中的局限性,提出了一种利用四线激光雷达和相机融合的目标检测算法.通过激光雷达得到目标的位置和编号信息,并将点云聚类后得到的结果通过
为提高风电接纳水平,解决计入风电的自动发电控制问题,结合大规模风电场群接入电网断面的特点设计风电集群断面有功控制策略.基于有功响应的特性对集群风电有功控制时延作相
针对常用的故障诊断深度学习方法需要较高的设备成本与较长的训练时间,提出一种基于Inception-ResNet模型的轴承故障分类方法.通过使用Inception网络的并行结构使网络学习到
针对基于单一关系路径的链路预测方法无法挖掘知识图谱中不同路径之间影响的问题,提出了一种基于多关系路径的链路预测方法.首先,采用基于路径信息的相似性指标来计算所有关