论文部分内容阅读
近来,随着计算机软硬件的飞速发展以及互联网的普及,人们通过网络和各种移动设备所产生的数据量正在爆炸式的增长,可以说我们正生活在一个浩瀚无边的数据海洋中。因此如何从海量数据中迅速分析统计出有用的信息特征就显得特别重要,而互联网技术的蓬勃发展为这一问题的解决提供了有效的途径。数据挖掘应运而生,它是从大量的数据集中提取出潜在的、有价值的信息特征。可视化是把得到的信息特征转化为可视的表达形式的过程。在数据挖掘的理论研究与应用中,与可视化技术的结合就产生了另一个重要的研究方向可视化数据挖掘。利用可视化技术并结合人的视觉特点,把数据挖掘产生的信息以直观的形式展现给用户,从而使得挖掘结果更有价值,更易于理解。网络信息化时代产生的数据多是通过网络访问和网络用户行为所生成的,大多存储于网络信息平台的大型资源数据库中,这些数据往往是字段可变的而且数据格式多样,可以是文本、图像、声音、视频等,而对这些数据库日志文件和数据文件的分析和应用是电子商务数据流到信息流转换分析的关键。论文首先针对大数据的背景进行介绍,在此基础上提出了Web可视化和数据挖掘技术,并对可视化技术在数据挖掘中的研究现状与研究意义作了介绍,为研究可视化技术在数据挖掘中的应用奠定了基础。其次,深入探讨了Web可视化和数据挖掘相关技术,介绍了可视化的基本流程、常用的Web前端可视化工具库、多维标度算法、Hadoop分布式处理系统等,为论文的整体设计提供技术支持。最后,结合具体实例,深入剖析了可视化技术在数据挖掘中的应用。对于传统的多维属性变量数据,采用多维标度算法(MDS,multi-dimensional scaling),将多维属性变量简化到低维空间进行定位、分析,发掘数据的信息特征并可视化的展现数据结果。对于某商业论坛的日志数据,采用Hadoop海量数据处理系统,结合分布式文件系统(HDFS,Hadoop distributed file system)和Map/Reduce分布式计算模型,从该论坛的页面浏览量、注册用户数、独立IP数、跳出数等分析视角出发,构建可视化的数据模型,并设计了从后台数据统计挖掘到前端可视化显示的整体技术方案。