论文部分内容阅读
摘要:本文介绍了大数据技术在电信用户信息分析中的使用,阐述了电信大数据可视化的重要意义;分析和讨论了电信用户信息大数据分析的可视化研究方法,研究电信用户大数据的行为结果进行分析预测,进而对其结果进行可视化展示,尝试讨论大数据分析可视化技术的个性化趋势。
关键词:电信用户信息;大数据;Spark;SpringMVC;可视化
中图分类号:TP39 文献标识码:A
文章编号:1009-3044(2019)33-0253-02
大数据技术日益在生产过程中起到很重要的作用。使用大数据技术对电信用户的信息进行分析,对用户的信息进行预测以期达到更好地为用户服务的目的。大数据分析中一个非常关键的环节就是如何获取友好的数据特征显示。大数据可视化已经成为大数据分析结果展示的重点研究内容。本文采用Spring、Spring MVC和MyBatis三者组合框架对电信用户大数据分析后的结果进行可视化展现。首先介绍MVC模型,然后再介绍Spring MVC框架和MyBafis,通过网页应用对其用户信息分析结果进行可视化实现。
1基于Spring MVC框架的电信用户大数据分析过程
本文大数据分析采用linux开源操作系统Ubuntu,构建以Hadoop平台为大数据开发环境。该平台使用基于内存计算的Spark分布式计算框架技术;分析语言使用scala进行编程实现。数据分析的过程分为三个阶段,第一阶段,将需研究的数据上传到分布式数据库HDFS中;第二阶段,使用Scala编写spark程序,对HDFS中的数据进行分析;接下来,把分析的结果存人本地数据库MySQL数据库中;第三阶段,使用SpringMVC模型对MySQL中的数据进行可视化呈现。其过程如图1所示。
2Spring MVC框架原理
2.1Spring MVC框架中页面的“请求一响应”模型
该模型是用户在访问一个网址时,客户端与服务器端的交互过程,主要分为两个阶段,即,请求阶段:客户端用户在地址栏中输入一个网址,此时客户端向服务器提出一个请求;响应阶段:服务器接收来自浏览器用户的访问请求,产生响应并进行渲染推送给客户端。该模型的请求响应过程见图2所示。
2.2Spring MVC框架下的View-Model处理过程
Spring MVC框架是一个“前端控制器”模型设计的网页框架,它基于请求驱动并根据“请求映射规则”把相应页面控制器进行处理,其流程分为四个步骤,1.客户发送請求到“前端控制器”;2.页面控制器收到请求进行处理;3.“前端控制器”回收其控制权,根据返回指定的逻辑视图进行渲染;4.“前端控制器”可循环回收控制器,不断将响应返回给客户。
2.3 MyBatis持久层框架
MyBatis是一个持久层框架,它使用简单的XML或注解配置环境信息对定制化的SQL、高级映射及存储过程等进行支持。其工作原理是1)加载配置信息,将SQL配置信息加载为MappedStatment对象保存到内存;21SQL解析,接收接口层API请求,根据不同SQL的ID查找到对应的MappedStatement进行解析并得到需要执行的SQL语句与参数;3)SQL执行,将SQL语句及参数传回数据库,执行解析后得到分析结果;4)映射结果,将分析结果转换为需要的数据类型,如HashMap,JavaBean等,并返回其结果。
3Spark平台下数据处理过程
Spark平台下数据处理过程包括采集电信数据集合并上传,然后在Spark平台下进行数据分析,最后把分析结果下载到本地数据库。需要注意的是在启动Spark环境之前需要先启动分布式平台Hadoop,具体启动过程是:
3.1数据上传
数据上传需要将数据从本地环境上传到分布式系统环境HDFS中去,该过程先在HDFS中创建一个dianxi_data目录,然后使用终端命令将分析数据上传。它分为两步,第一步在分布式系统hdfs上创建目录,第二步把本地文件上传到hdfs,具体命令如下:
3.2 Spark数据分析
数据上传后,使用Spark平台进行数据分析。其过程是从分布式数据库HDABSE中读取数据,然后使用scala语言工具进行数据的清洗与处理,最后把处理后的数据存储到MySQL本地数据库中。
4使用Spring MVC框架进行信息可视化分析
Spark平台下分析出来的数据结果存放到本地数据库中,然后使用Spring MVC、MyBatis等框架结合可视化环境ECharts编写应用层程序,把分析结果以图表的形式展示在网页中。其主要过程包括创建项目、文件配置、设置项目目录、编写代码及生成jar包等;最后通过网页服务器Tomcat分布到网页中。本文项目使用IntelliJIDEA开发,项目架构如图3所示。
4.1结果信息可视化分析步骤
设置好项目文件,然后对pom.xml文件进行配置。其中,主要配置内容有Spring、Mybatis、MySQL驱动连接、可视化组件echarts、json文件等。最后把分析结果在部署到tomcat服务器,实现数据分析结果的可视化呈现。
4.2使用Echats实现可视化结果
本文分析了徐州电信公司下辖的云龙区、鼓楼区、铜山区等三个区的信电用户在某一时间段进行办理上网情况的对比。有两种办理模式,一种是到电信营业网点办理上网,第二种是使用手机自主办理。图中对大数据信息的分析结果进行了很直观地显示。如图4所示。
下面是对电信用户办理的套餐业务情况统计。电信设置了天翼大流量套餐、天翼畅想套餐、天翼畅享20G/40G套餐等套餐业务。使用echarts饼图直观显示了电信用户通过上网或网点办理的套餐业务情况,其大小比例及百分比数字比例清楚一目了然。如图5所示。
5大数据可视化的发展趋势
近年来,大数据可视化技术发展速度越来越快,形式越来越丰富,各种框架推新周期越来越短,可以通过可视化技术把一些数据的重要细节这真实重建出来,并更清晰的展示给需求用户。提高可视化显示形式的多样化,为用户提供细节更清晰,更易操作的可视化框架也是值得关注的研究方向。最后,面对海量的数据如何有效提取有并去除冗余数据,降低处理数据所需的时间是一个重要的研究方向。
6结束语
本文简要分析了大数据及大数据可视化的定义,重点研究讨论了Hadoop大数据平台下利用Spark技术使用sDringMVC框架分析大数据结果的可视化技术,最后尝试探讨了大数据分析可视化技术的个性化趋势。
关键词:电信用户信息;大数据;Spark;SpringMVC;可视化
中图分类号:TP39 文献标识码:A
文章编号:1009-3044(2019)33-0253-02
大数据技术日益在生产过程中起到很重要的作用。使用大数据技术对电信用户的信息进行分析,对用户的信息进行预测以期达到更好地为用户服务的目的。大数据分析中一个非常关键的环节就是如何获取友好的数据特征显示。大数据可视化已经成为大数据分析结果展示的重点研究内容。本文采用Spring、Spring MVC和MyBatis三者组合框架对电信用户大数据分析后的结果进行可视化展现。首先介绍MVC模型,然后再介绍Spring MVC框架和MyBafis,通过网页应用对其用户信息分析结果进行可视化实现。
1基于Spring MVC框架的电信用户大数据分析过程
本文大数据分析采用linux开源操作系统Ubuntu,构建以Hadoop平台为大数据开发环境。该平台使用基于内存计算的Spark分布式计算框架技术;分析语言使用scala进行编程实现。数据分析的过程分为三个阶段,第一阶段,将需研究的数据上传到分布式数据库HDFS中;第二阶段,使用Scala编写spark程序,对HDFS中的数据进行分析;接下来,把分析的结果存人本地数据库MySQL数据库中;第三阶段,使用SpringMVC模型对MySQL中的数据进行可视化呈现。其过程如图1所示。
2Spring MVC框架原理
2.1Spring MVC框架中页面的“请求一响应”模型
该模型是用户在访问一个网址时,客户端与服务器端的交互过程,主要分为两个阶段,即,请求阶段:客户端用户在地址栏中输入一个网址,此时客户端向服务器提出一个请求;响应阶段:服务器接收来自浏览器用户的访问请求,产生响应并进行渲染推送给客户端。该模型的请求响应过程见图2所示。
2.2Spring MVC框架下的View-Model处理过程
Spring MVC框架是一个“前端控制器”模型设计的网页框架,它基于请求驱动并根据“请求映射规则”把相应页面控制器进行处理,其流程分为四个步骤,1.客户发送請求到“前端控制器”;2.页面控制器收到请求进行处理;3.“前端控制器”回收其控制权,根据返回指定的逻辑视图进行渲染;4.“前端控制器”可循环回收控制器,不断将响应返回给客户。
2.3 MyBatis持久层框架
MyBatis是一个持久层框架,它使用简单的XML或注解配置环境信息对定制化的SQL、高级映射及存储过程等进行支持。其工作原理是1)加载配置信息,将SQL配置信息加载为MappedStatment对象保存到内存;21SQL解析,接收接口层API请求,根据不同SQL的ID查找到对应的MappedStatement进行解析并得到需要执行的SQL语句与参数;3)SQL执行,将SQL语句及参数传回数据库,执行解析后得到分析结果;4)映射结果,将分析结果转换为需要的数据类型,如HashMap,JavaBean等,并返回其结果。
3Spark平台下数据处理过程
Spark平台下数据处理过程包括采集电信数据集合并上传,然后在Spark平台下进行数据分析,最后把分析结果下载到本地数据库。需要注意的是在启动Spark环境之前需要先启动分布式平台Hadoop,具体启动过程是:
3.1数据上传
数据上传需要将数据从本地环境上传到分布式系统环境HDFS中去,该过程先在HDFS中创建一个dianxi_data目录,然后使用终端命令将分析数据上传。它分为两步,第一步在分布式系统hdfs上创建目录,第二步把本地文件上传到hdfs,具体命令如下:
3.2 Spark数据分析
数据上传后,使用Spark平台进行数据分析。其过程是从分布式数据库HDABSE中读取数据,然后使用scala语言工具进行数据的清洗与处理,最后把处理后的数据存储到MySQL本地数据库中。
4使用Spring MVC框架进行信息可视化分析
Spark平台下分析出来的数据结果存放到本地数据库中,然后使用Spring MVC、MyBatis等框架结合可视化环境ECharts编写应用层程序,把分析结果以图表的形式展示在网页中。其主要过程包括创建项目、文件配置、设置项目目录、编写代码及生成jar包等;最后通过网页服务器Tomcat分布到网页中。本文项目使用IntelliJIDEA开发,项目架构如图3所示。
4.1结果信息可视化分析步骤
设置好项目文件,然后对pom.xml文件进行配置。其中,主要配置内容有Spring、Mybatis、MySQL驱动连接、可视化组件echarts、json文件等。最后把分析结果在部署到tomcat服务器,实现数据分析结果的可视化呈现。
4.2使用Echats实现可视化结果
本文分析了徐州电信公司下辖的云龙区、鼓楼区、铜山区等三个区的信电用户在某一时间段进行办理上网情况的对比。有两种办理模式,一种是到电信营业网点办理上网,第二种是使用手机自主办理。图中对大数据信息的分析结果进行了很直观地显示。如图4所示。
下面是对电信用户办理的套餐业务情况统计。电信设置了天翼大流量套餐、天翼畅想套餐、天翼畅享20G/40G套餐等套餐业务。使用echarts饼图直观显示了电信用户通过上网或网点办理的套餐业务情况,其大小比例及百分比数字比例清楚一目了然。如图5所示。
5大数据可视化的发展趋势
近年来,大数据可视化技术发展速度越来越快,形式越来越丰富,各种框架推新周期越来越短,可以通过可视化技术把一些数据的重要细节这真实重建出来,并更清晰的展示给需求用户。提高可视化显示形式的多样化,为用户提供细节更清晰,更易操作的可视化框架也是值得关注的研究方向。最后,面对海量的数据如何有效提取有并去除冗余数据,降低处理数据所需的时间是一个重要的研究方向。
6结束语
本文简要分析了大数据及大数据可视化的定义,重点研究讨论了Hadoop大数据平台下利用Spark技术使用sDringMVC框架分析大数据结果的可视化技术,最后尝试探讨了大数据分析可视化技术的个性化趋势。