基于Spark的板带质量数据存储及查询研究

来源 :安徽工业大学 | 被引量 : 1次 | 上传用户:g123s123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
板带钢质量数据是板带钢生产过程中所采集的一类重要的数据,时间序列作为其中主要类型,具有维度高、噪声多、非平稳等特点,因此对于相关数据的相似性查询一直是一个难点,特别是基于分布式计算框架Spark的相关研究并不多。多数利用Spark框架研究时序数据相似性查询的方法停留在基于原生RDD的阶段,一旦数据量超过分区承受负载,其性能将迅速降低。为了解决板带质量数据相似性查询在Spark上所遇到的问题,本论文进行了以下研究:(1)首先研究了时间序列相似性查询所需要研究的一些基本问题,如相似性度量、时间序列表示方法、索引方法等,针对板带质量数据的特点,研究了时间序列数据的平稳化问题,引入了经验模态分解(EMD)方法,并为时序数据降维引入分段线性表示方法(PLR)中基于重要点分段的方法。(2)研究了在分布式内存计算平台下,针对海量时间序列数据相似性查询,比较R树索引和MVP树索引的效率,并将索引固化至存储节点,使系统能够以高吞吐量及低延迟进行时态查询操作。针对时态查询的效率进行评估实验,显示面对不同维度的时间序列,Spark使用不同的索引,查询效果会有所不同。(3)基于内存计算框架Spark及子框架SparkSQL设计实现了一个支持时序数据相似性查询分析的扩展系统S-TSQS(Spark Time-sereis Similarity Query System)。该系统利用Spark可扩展的特性,增添新的DataSet API方法,为Spark引入索引管理机制。在不同影响参数下,与原生SparkDataSet查询处理解决方案相比,该方案具有更为优异的性能。
其他文献
聚乳酸(polylactic acid,PLA),即为聚丙交酯,是一种原料为乳酸(LA),经过反应制备出的高分子聚合物。它具有许多优良的性质,诸如良好的生物相容性、环境友好性和能源经济性。
翻转课堂已经在外语教学中得到广泛的应用,但翻转课堂有效性的专门讨论较为少见。本文在追溯翻转课堂理论依据的基础上,根据对目前教学现状的分析,提出自主学习能力是实现有
大功率圆管换能器在清洗、除垢、萃取等领域中有着广泛的应用。分析了一种新型圆管换能器,通过热胀冷缩原理给换能器施加预应力,充分发挥压电陶瓷的机械性能,达到大功率辐射
液晶聚合物(LCP)是一种低成本的热塑性有机材料,因具有恒定介电常数、稳定热学与化学稳定性等优良性能[1]-[3],可低成本应用于RF、微波、毫米波等无线通信、电子元器件封装与
随着生态危机的加重,文学创作与研究越发将视点转向人与自然的平衡关系与和谐生态,形成一种生态思维。生态文学文本以作者的生态思想和作品的生态视角为创作基础,日趋严峻的
医院信访工作是医院工作的重要组威部分,对促进医学学科的发展具有独特作用。妥善处理医院信访投诉是构建和谐医患关系的重要保证。本文通过对江苏省人民医院2008年至2012年医
【目的】具有重要的木材生产与生态功能的兴安落叶松分布于我国夏季干旱强度和频度明显偏高区域,研究兴安落叶松自然干旱过程中水分指标特征,以期阐明该种水分应对策略。【方
采用球磨制粉和模压成型方法制备了FeSiAl磁粉芯。分别研究了粉料粒度、粘结剂用量、冷却条件和热处理工艺对铁硅铝磁粉芯品质因数Q和有效磁导率μe的影响。结果表明,粉料粒度
目的:观察银翘散合五味消毒饮加减联合中药贴敷治疗亚急性甲状腺炎(SAT)热毒壅盛证患者的临床疗效。方法:本临床研究选取符合纳入标准的SAT患者40例,给予基础治疗:对SAT患者进行健康宣教,嘱其控制情绪,生活规律,避免过劳,多食蛋白、热量、维生素含量较高的食物,多饮水,低碘饮食,抗病毒治疗等;同时给予银翘散合五味消毒饮加减,日1剂,早晚两次饭后服用,疗程14天,随访3个月;中药贴敷,每晚睡前贴敷于
"更快、更高、更强",自从"现代奥林匹克之父"、法国人皮埃尔·德·顾拜旦先生将这短短的六字定为奥林匹克运动宗旨,它便成为人类超越自我极限道路上的指路明灯;"发展