在工业4.0的背景下,物联网相关技术的逐步兴起使其终端设备产生了愈来愈多的数据,对海量的数据需要借助大数据、数据挖掘等技术进行处理和分析。在实际应用中大量的设备传感器数据存在着许多可供压缩的冗余信息,需要在数据存储过程中进行压缩存储以缩减其数据规模,存储压缩后的数据还应满足用户提供实时的查询检索功能。另外设备运行过程中积累的大量运行数据也为数据的挖掘提供了基础,可用于对设备的运行状态进行分析,例如对设备工况进行识别。针对以上需求,本文在建立设备大数据平台的基础上进一步提出设备数据存储压缩查询以及工况聚类算法,主要研究内容如下:(1)面向设备的全生命周期以及设备信息分析共享的需求,建立设备大数据存储分析管理平台。平台底层对数据格式进行解析之后存储至HBase中,HDFS用于存储底层数据的原始文件,Spark作为计算引擎可用于数据指标的再计算,同时数据平台应用层还可用于设备数据的可视化显示操作。(2)针对设备数据在存储过程中存在的大量冗余信息,本文提出查询压缩方案以减少数据存储空间。将数据按不同的数据通道分别进行压缩后存储至HDFS中,并将存储的文件块信息写入到数据库中。接收到查询请求后,首先在数据库中查询到数据块位置,然后对相关文件进行解压缩,返回查询结果,实验表明可以满足基本的查询需求。(3)针对无标签的传感器设备性能监测数据,本文使用聚类算法对设备运行工况进行识别。对数据进行预处理削减噪声的影响之后,采用基于划分的无监督K-Means和基于密度的DBSCAN算法对运行数据进行分析,通过相关算法对聚类参数进行确定,并根据聚类的有效性评价指标对聚类效果进行了评估,对两种算法针对该任务的优缺点进行了比较,实验表明在本任务中DBSCAN聚类算法有效性指标会略好于K-means算法。