论文部分内容阅读
在水质监测过程中,以数字形式表示的庞大的水质数据呈现出抽象性以及复杂性等特点。这些特征使得工作人员难以直观、高效地监测以及分析数据。对水质数据进行可视化处理,可以将抽象的数据以图像等形式展现,有利于监测和分析水质状况。然而,随着数据量的增加,传统开发模式的计算效率在短时间内无法满足计算任务的基本需求。因此,需要采用大规模的计算模式来提高可视化的效率。而云计算在海量数据的存储、提取和分析方面具有强大的优势和能力。因此利用云计算以及可视化技术,可以高效地帮助工作人员寻找和分析隐藏在数据中的规律,为水质监测提供高效便捷的信息平台。本文使用云计算开源编程框架Hadoop以及HBase分布式数据库实现了三峡水库奉节县朱衣河区域水质数据的存储与处理。然后利用Google Maps提供的热图可视化功能将处理后的数据进行可视化展示,主要工作如下:对水质数据进行存储及处理。首先,在充分了解Hadoop工作原理以及安装步骤之后,搭建Hadoop实验环境。然后,根据HBase原理以及水质数据的特征,合理地设计数据表,并将水质数据全部迁移到HBase数据库中。最后,利用MapReduce计算框架实现对数据的读取及处理。本文在实现了基于Hadoop的可视化平台之后,进行了性能测试与分析。分别记录了传统开发模式下与Hadoop环境下的数据处理时间,并进行对比。通过实验证明,Hadoop编程框架以及HBase数据库对海量数据的存储与处理有着比传统开发模式更高效的优势。数据量越大,优势越明显。实现对数据的可视化。首先,根据数据的特征,采用地图Mashup方式,利用Google地图提供的开源Google Maps API,将数据以热图图层的形式展现在地图上。然后,通过Google地图的构建原理,制作离线地图,实现了水质数据在离线地图上的可视化。可视化技术充分展现了数据与地域之间的关系,它在挖掘和分析隐藏在数据中的信息方面具有更直观、更高效的优势。