基于Hadoop/Spark的结构健康监测数据挖掘算法研究与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:sunku
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,科学技术的飞速发展促进了结构健康监测领域的蓬勃发展。大量民用基础设施,如大跨度桥梁、隧道、高层建筑、核电站、电力传输塔等都已经配备了结构健康监测(SHM)系统以监测它们的状态和损伤情况。随着传感器技术和信号传输技术的不断发展,SHM系统的数据采集能力逐渐增强,各种类型的传感器在监测过程中产生了巨大的数据量。由于不同的传感器在特性、采集原理、存储格式等方面的差异性以及SHM系统不可避免地会受到环境和外部载荷的影响,使得结构健康监测数据具有噪声和数据丢失等不确定性因素。由此可见结构健康监测数据具有体量大、种类多、生成速度快且价值密度低的特点,传统的离线数据处理方法已经不能满足在数据存储、处理、计算和分析等方面的要求,因此迫切需要找到新的技术和自动化工具,能够实时高效地帮助我们将海量的监测数据转化为有用的信息和知识。本文将利用常用的数据挖掘算法和Hadoop/Spark大数据处理平台,研究并实现基于Hadoop/Spark的结构健康监测数据挖掘算法。通过对历史监测数据和实时监测数据的挖掘,全面分析大型工程结构的状态并对结构的变化趋势提供及时的预警。算法设计思想可以应用于桥梁健康监测,也可以应用于隧道、水坝监测、高层建筑监测、核电站、电力传输塔等结构健康监测领域,具有广阔的应用前景。首先详细介绍了结构健康监测数据预处理方法,包括数据清理、数据集成与变换以及数据归约;其次研究了常用的数据挖掘模型在结构异常识别中的应用,设计并实现了基于PCA的结构异常识别算法、基于GMM聚类的结构异常识别算法以及基于Apriori关联规则的结构异常识别算法,通过一个三层建筑结构分别对三种算法进行分析验证,测试结果表明三种数据挖掘算法均能在一定程度上有效地识别结构的异常状态,为进一步的结构损伤识别和性能评估奠定了基础;然后设计并实现了一种基于Bi-LSTM的结构损伤预警算法,在一个简支梁结构上的仿真结果表明,该算法在预测结构损伤方面是有效的;接着设计了一种基于1D-CNNs模型的结构损伤定位算法,在一个基准结构上测试了该算法的准确性。最后利用Docker虚拟化技术搭建了Hadoop/Spark大数据平台,并以Apriori算法为例,在该平台上实现了结构健康监测数据挖掘算法,通过比较算法在不同平台上运行的时间,验证了大数据平台对数据挖掘算法具有良好的计算性能。
其他文献
随着中国制造业的蓬勃发展,越来越多的中国企业将机械设备销售到国外市场,机械设备说明书的翻译是当前影响销售的重要因素之一。目前,机械说明书的英译质量问题较多,且缺乏相关研究。本研究旨在运用翻译对等理论,探究汉语机械设备说明书的英译,提出具体的翻译策略,以期提高译文质量,助力机械设备的对外出口。翻译对等理论最初由奈达提出,包含形式对等和动态对等,后将动态对等表述为功能对等。前者强调形式和内容上的对等,
欧洲是专利制度的摇篮和发源地。自从具有现代意义上的第一部专利法——1624英国《垄断法案》颁布以来,欧洲专利制度走过了近400年的历程。如果将封建王室授予的垄断特权看作是萌芽状态的专利权,那么欧洲专利制度则经历了600年的沧桑巨变。纵观整个欧洲专利制度的演变史,我们可以发现,它不仅是一部科技创新史,而且是一部社会进步史。一方面,科技创新催生了专利制度,并推动专利制度随时代变迁而不断改革发展,另一方
很长一段时间以来土地一级开发项目均以各地国土资源部门为主体,并由其下属的土地储备分中心负责具体实施,企业参与度低。自2010年国土资源部下发通知,要求各级政府及其所属企事业单位不得直接从事土地一级开发后,一级开发项目将主要由企业具体投资实施,政府也逐步由市场的直接参与者向规则制定者和行业监管者的角色转变。为了确保一级开发项目的顺利进行,政府出台了一系列涵盖一级开发项目前期手续办理、征地拆迁、市政基
在激烈的学习竞争中,学业情绪问题是困扰广大师生的巨大难题,而高唤醒的学业情绪影响学生对自身能力的评价,进而影响学业自我效能感。国内外研究表明,学业自我效能感和学业情绪存在相关,但部分研究结果存在分歧,未对二者的真实相关进行系统探讨。因此,探究中小学生学业自我效能感与学业情绪的一般关系迫在眉睫,这对于教育工作者引导学生培养良好的学业自我效能感和学业情绪有重要启示。研究一运用元分析方法探讨中小学生学业
服装产业在我国是比较传统成熟的产业,随着经济的发展和服装产业进程的不断深入,品牌服饰逐渐成为人们职业特点、生活品位、个性展示、价值体现的象征。服装产业竞争格局已由原来的价格竞争、质量竞争、规模竞争发展成为品牌竞争。然而随着市场竞争的加剧,服装品牌的更换速度十分迅速,每年我国服装市场上大约有2000多个品牌被淘汰。贵州S服装商贸有限公司是K、M、N三个品牌的贵州区总代理,与上游供应商为买断代理关系,
中小学校外培训一直是一个需求旺盛的市场,无论是知名的培训品牌,还是规模较小的培训班,似乎都能从中找到生存的空间。然而,并不是每个人都有能力在这个市场上获取一席之地。
目的:研究托珠单抗联合改善病情抗风湿药(DMARDs)治疗中重度活动性类风湿关节临床疗效及对糖皮质激素使用剂量的影响。方法:回顾性收集2016年10月—2019年1月期间皖南医学院
随着现代网络的发展,互联网已经成为人们重要的社交平台,表情包在互联网社交中也占据了重要的地位,表情包从简单的表情符号发展到现在,自制表情包已经成为主流。自制表情包多
目的:本研究应用Panchers分析法,比较生理性支抗技术(Physiological Anchorage Spee’s-Wire System,PASS)和DAMON自锁直丝弓技术在安氏II类拔牙病例中排齐整平后上颌磨牙支抗的消耗情况。通过分析上颌磨牙在矢状向和垂直向位移和角度的变化及产生差异的原因,为安氏II类错畸形患者的正畸治疗提供临床依据。方法:本研究选取大连医科大学附属第一医院口腔正畸科
目的:对住院的荣军老年人的睡眠现状开展了相关的调查,并分析与睡眠现状相关的影响因素,促进住院的荣军老年人拥有健康的良好的睡眠状态,为更好的构建有针对性的干预措施提供一定的理论依据。方法:在2018年07月至2019年05月期间,选取山东省某荣军医院住院的荣军老年人作为调查对象,研究工具包括一般人口学资料调查表、匹兹堡睡眠质量量表、嗜睡量表、国际体力活动问卷短卷、自尊量表、老年抑郁量表、焦虑自评量表