论文部分内容阅读
房屋震害损失评估是地震灾害损失评估非常重要的一环,对震后灾区救援和复建具有很大的指导意义和参考价值。传统的房屋震害损失评估采取抽样方法来采集数据,然后基于这些具有一定代表性的数据来进行评估,然而,用样本数据来代替总体数据是一种“无奈之举”,会在一定程度上削弱评估结果的准确性。随着信息时代的到来,各个行业领域的信息量快速增长,数据类型越来越复杂,大数据的概念就是在这样的背景下被提出的。大数据不仅仅是数据量巨大,同时还兼具异构性和价值性。但是要想发掘大数据所蕴藏的价值性,需要便捷快速、经济的运算工具。云计算是一种通过共享云端资源池来实现低成本高运算的计算模式,目前,公认是处理大数据的最佳利器。地震灾害评估方面的数据也在急剧增长中,面对这种增长,传统的计算和数据存储方法在处理速度上越发显得捉襟见肘。《中共中央国务院关于进一步加强城市规划建设管理工作的若干意见》指出要“推进城市智慧管理。加强城市管理和服务体系智能化建设,促进大数据、物联网、云计算等现代信息技术与城市管理服务融合,提升城市治理和服务水平。”地震灾害评估也需要推进智慧管理,将现代信息技术手段引入到地震灾害评估等相关领域,以此得到更好的发展。论文主要做了以下几项工作:1)综述大数据、云计算在地震数据处理领域运用的国内外发展现状。通过大量的资料查询以及分析对比工作,最终选定本文的云开发平台为Hadoop。同时结合本文数据存储以及计算速度的需求,明确了本文采用的云计算三项技术:MapReduce编程模型、HDFS分布式文件系统以及HBase非关系型数据库,并对这三项相关技术进行了必要的介绍。2)详细分析了目前传统房屋震害损评估方法存在的不足,结合房屋震害数据采集手段不断进步的发展趋势,设计了一种理想化的基于大数据应用云计算技术评估详实房屋震害损失的方法,重点是用全数据参与评估。并且完成以下几部分设计:a)数据存储方面,设计出合理的便于存储以及进行数据操作的HBase数据表结构。并且完成了数据批量录入HBase的程序设计。b)数据处理部分:将整个评估过程进行合理的拆分,设计出高效可靠的算法流程,并通过MapReduce程序来实现。3)将大量数据导入HBase数据库,在数据库相同的条件下,分别运用云计算集群和传统单机模式计算房屋震害损失值,比较本评估方法运用两种计算工具的计算速度。