论文部分内容阅读
随着我国农业信息化进程的快速推进,农业领域积累了大量的统计数据。如何进一步有效整合和利用现有多源异构的农业数据,挖掘数据潜在价值,成为农业信息化研究面临的重要课题。利用数据可视化技术可以将数据变换为可识别的图形符号、图像视频等信息,将不可见或难以直观显示的数据信息展现出来,为人们洞察事物潜在规律提供新的观察手段。当前的农业统计数据资源分散,展现方式较为单一,大多使用简单的可视化图表,缺少交互手段,用户无法在已有可视图表的基础上进行自定义交互可视分析。本文针对现有农业统计数据多源异构的特点和数据展示方式单一的问题,利用网络爬虫技术实现了对不同来源数据的采集,采用Django网络开发框架以及Html、CSS、JavaScript等技术设计实现了一个基于B/S架构的农业统计数据可视化系统。主要工作如下:(1)农业统计数据采集。通过研究现有网络爬虫技术的实现方式,针对互联网上的农业统计数据资源分散且结构不一致的特点,基于通用网络爬虫技术和框架,设计定向的网络爬虫,实现对数据资源的抓取。(2)数据资源ETL处理。基于不同数据集的特点和数据可视化需求,系统实现了对原始采集数据的清洗处理和转换整合,为数据的可视化展示提供了数据资源。(3)可视化系统设计与实现。基于Django网络框架,设计并实现了农业统计数据的Web可视化系统。系统对采集处理后的数据资源进行了陈列展示,并提供了资源下载接口。系统利用Tableau可视化工具和Echarts库,实现了数据的图表可视化,并为图表提供动态交互功能。本文通过对多源异构的农业统计数据的收集处理,并基于处理的数据资源设计实现了一个能提供数据图表的Web可视化系统,系统实现了数据的多样化展示和图表的动态交互。