面向铁道供电监控信息大数据的列压缩方法研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:newboard
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
铁路运输设备是铁路重要的生产性资产,其健康持续稳定的运作是铁路运输生产活动的重要基础,是铁路运输组织活动正常进行的保证。铁路供电监控系统将收集到的线程电流、电压、有功功率、无功功率、功率因素、电力极值等运输设备技术状态数据作为铁路运输设备的高效管控和决策的重要依据。面对不断增长的技术状态数据,现有的监控信息存储方式主要依赖基于磁盘阵列的硬件设备(RAID,redundant array of independent disks),利用传统的关系型数据库进行管理,存在着存储能力差、结构固定、读写效率低等问题,无法满足各应用系统之间共享数据中心业务的需求。如果无法即时获取到的时间序列准实时海量数据中快速搜索出铁道供电杆塔信息、刀闸信息,与健康安全档案信息进行综合分析,可能引起调度监控信息的交互困难、通信拥塞,影响铁路供电生产运维效率,不利于缩短故障排查时间和降低列车晚点率。由于传统的以行式存储为主的关系型数据管理技术存在数据库扩容瓶颈,学术界的研究转向基于列式存储的数据处理技术。列式数据存储具有比行式存储更高的压缩比率,通过获取指定列数据可以减少更多IO操作,这些优势对于存储海量数据来说具有更大的吸引力,使用列式存储更能体现出优势,性价比也更高。以HBase列式数据库为例的云集群处理技术在某些关键领域已经得到重要应用,本文在铁道供电调度监控系统海量监控信息的高效处理这个热点问题上,重点研究基于HBase列式云集群的压缩及优化处理技术,并基于列存储研究监控信息的大比率压缩。本文在理论研究基础上,以工程数据为算例,首先为解决列式数据库之间传输吞吐量低,转存耗时长的问题,设计实现分布式数据集群的内存扁平压缩模型。然后成功构建基于HBase云集群的供电调度监控信息处理平台,并将扁平压缩模型集成到HBase集群实现共享内存折叠压缩,考虑内存折叠后的优化性能,以某动车段的SCADA系统工程数据为算例,进行数据载入延时、数据读取延时以及内存占用率的变化等多组数据测试,验证了该方案对监控信息存取的优化效果。研究并设计列存储模式的监控信息神经网络大比率压缩存储模型,通过工程算例数据验证了其压缩效果。研究结果为提升铁道供电监控大数据集群读写能力与缩短处理延时及大比率压缩存储提供新的解决方案。
其他文献
基于风光互补发电、电解水制氢、储氢、氢燃料电池等技术的风光互补发电耦合氢储能系统,以氢能为能源载体,是实现可再生能源-氢能-电能规模化应用的重要途径。介绍了风光互补发电、电解水制氢、储氢和氢燃料电池等关键技术的发展现状,对风光互补发电耦合氢储能系统中的离网型、并网型系统和容量配置优化等研究热点进行了分析,为风光互补发电耦合氢储能系统的进一步技术研究和工程应用提供参考。
中国国是水果生产大国,随着人们收入的提高,对高品质水果的需求越来越旺盛,水果的产地检测、病害快速检测等受到消费者与加工商的密切关注。水果品质的优劣直接影响到加工产品的质量、等级及销售。因此,需要一种高效、无损的技术方法对水果品质进行检测。相比传统的检测技术,利用高光谱成像技术检测水果品质具有无损、高效等特点,以脐橙为研究对象,本文使用高光谱技术,结合多种化学计量学方法,主要对脐橙的病害鉴别、脐橙的
高速移动飞行物体空间轨迹研究目前在体育、军事、航天和工业等领域具有非常重要的研究意义与应用价值,乒乓球具有体积小、飞行速度快、运动模型复杂等特性,非常适合飞行物体轨迹研究实验对象,其轨迹研究近年来受到越来越多的研究者关注。本文以乒乓球为研究对象开展飞行物三维轨迹预测研究,搭建了一种基于结合简单物理运动模型约束和双LSTM神经网络偏差修正的轨迹预测模型的轨迹预测系统,在仿真环境和真实场景中都进行了实
BIM(Building Information Modeing)是推进我国建筑业信息化发展的最有利的手段,行业在进行运用探索,国家政策也在大力推进。BIM模型是BIM技术应用的基石,但在BIM模型质量控制方面,当前我国尚未有成熟的模型检查软件和控制体系,检查方式基本上是靠人工检查,质量认可还停留在二维图纸审查的阶段。对于这样的检查模式,容易产生漏检和错检的问题,难以快速、精确地对三维模型进行检查
建筑电气设计是建筑工程设计中不可或缺的一部分,建筑电气设计人员通过学习相关的电气知识,人为地读取各类复杂的建筑图纸,然后结合相应国家电气类规范才可完成设计。目前,建筑电气设计主要以设计二维平面图为主,并处于半人工手绘阶段,存在设计效率低、易发生人为错误等弊端。同时,在实际工程中,二维平面设计图呈现信息的方式单一、可读性差,导致施工效率低下。针对上述问题,本文提出一种在实现二维建筑图纸三维可视化的同
被人们称为“万能之土”的稀土是工业的维生素,全球所有的高科技产品都来源于它。我国的稀土萃取工艺在中科院科学家徐光宪院士的研究成果——串级萃取理论的指导下领跑全球,而萃取过程中组分含量的在线检测仍然停留在“定时取样、离线分析”阶段,部分稀土领域的科技工作者将软测量技术应用于组分含量的快速检测,取得了系列成果。但是,传统的软测量方法需要依靠大量的数据支撑,而复杂的稀土萃取过程却存在数据获取成本高、数据
新常态下的公共管理有利于提高公共管理水平,可以为社会经济的高速发展提供帮助。作为系统化工程,公共管理所涉及的内容极为丰富,诸如社会资源、社会问题,只有合理采用公共管理手段,才能够在迎合时代背景的情况下发挥出其应有的作用。文章通过对新常态公共管理进行研究,并结合实际提出个人看法,希望为关注新常态公共管理的人群提供参考。
条纹投影轮廓测量(FPP)作为非接触式三维(3D)感测/成像的流行技术之一,在过去几十年中得到了快速发展。3D光学传感已经开始成为我们日常生活中不可或缺的一部分,例如智能手机上的3D传感器启用的Face ID等设备。随着FPP在人工智能(AI),机器学习,智能制造,机器人技术以及在其他领域的不断应用,这类技术将产生更加深远的影响。然而,这种先进的光学系统在工业应用中仍然存在一些基本的问题。在结构光
随着大数据时代的来临,社交媒体中出现了越发丰富的文本信息数据,特别是在微博和贴吧之中。虽然信息化丰富了人们的生活,但带来的却是监管的困难。由于在社交媒体中常常充斥着一些负面的消息和情况,如果不加以管控,则有可能造成负面的影响,但是以人力难以对庞大的文本数据进行管控,因此如何通过计算机算法对文本信息进行有效准确的分类成为当前计算机领域的一项重要研究课题。根据数据集的样本尺度可以将文本分成短文本和长文
无参考图像质量评价方法(No Reference Image Quality Assessment,NR-IQA)是目前图像质量评价技术的研究热点和将来的发展方向,它在图像处理、机器人技术、机器视觉、医学图像等领域都具有重要的应用价值。随着深度学习的发展,深度神经网络以其强大的建模和分析能力,被越来越多的研究者应用于图像质量评价领域,但在将深度神经网络应用于图像质量评价研究时,深层卷积神经网络模型