论文部分内容阅读
【摘 要】可视化随着大数据时代的来临日渐重要，传统可视化技术在应对大规模数据有响应时间过长、缺少灵活性等弊端，而现如今，这项技术已发展到一定程度，很多互联网公司都推出了各自的产品，种类繁多，能满足目前大多数需求。针对目前几款比较热门和使用普遍的技术和工具，从他们的功能特点展开分析。
【关键词】大数据;可视化;技术;工具
引言
现代社会，人类早已和数据密不可分，海量数据的组成真实地反映了现实世界的复杂事物，但人脑无法直接把庞大的数据转化为有效的信息，数据可视化这项技术有助于我们更好的管理和理解这些数据，以及发现复杂数据更深层次的联系。21世纪初Jim Thomas教授提出可视化是大数据挖掘与分析中一项必不可少的技术，发展至今从入门级的Excel到专业级的商业产品，这项技术已经较为成熟，它的应用无论在金融、销售、物流、电力、交通、传媒，还是医学、地理等科学都发挥着重要的作用，帮助各领域人员发现问题，诊断问题，解决问题。
1 .大数据可视化基本概念
在大数据时代，数据的价值将得到最大程度的释放，微小的数据也有可能产生超乎想象的价值。大数据的特点包括：Volume（数据量大），数据从GB到TB、PB乃至EB级别，采集、存储和计算的量大;Variety（类型繁多），广泛的数据来源，决定了大数据形式多样性;Velocity（速度快失效高），数据增长速度快，处理速度快，时效性高;Value（价值密度低），所产生的数据中，有价值的数据所占比例很小，数据价值密度较低;Online（数据在线），数据一直在线，随时能调用和计算，这是大数据区别于传统数据最大的特征。
数据可视化是一种通过将数据编码为可视对象如点、线、颜色、位置关系、动态效果等，并将对象组成图形来传递数据信息的技术。其目的是以清晰且高效的方式将信息传递给用户，是利用人眼的感知能力对数据进行交互的可视化表达以增强数据认知的技术。
数据可视化技术包含以下几个基本概念：
数据空间：是由n维属性和m个元素组成的数据集所构成的多维信息空间;
数据开发：是指利用一定的算法和工具对数据进行定量的推演和计算;
数据分析：指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据;
数据可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。
2. 大数据可视化技术有哪些
前端界面中几种常见的大数据可视化技术，例如Highchar ts、Echarts、Charts、D3，使用JavaScript结合HTML5中的Can vas和SVG实现，能在pc和移动设备上运行且支持大多数主流浏览器，兼容性很好。
2.1 Highcharts
开源但不完全免费的软件，非商业用途可免费使用，商业用途需授权，支付相关费用获得技术支持、图表定制服务以及VIP专属服务。
Highcharts主要优势在于：
（1）兼容性高，可以在所有的移动设备及电脑上的浏览器（IE6以上）中使用。（2）配置语法简单，所有配置都是JSON对象，易于读写和解析。（3）支持用户一键导出以及直接打印图表。（4）支持多坐标轴，同时对比多个数据。
2.2 Echarts
开源的、免费的可视化库，功能丰富，涵盖各行业图标，可根据需求高度个性化定制。
ECharts全新4.0版本新特点：千万级数据可视化渲染能力、SVG + Canvas 双引擎动力更佳、数据样式分离及扁平配置让开发更便捷、首创无障碍访问支持、适配微信小程序和ppt。
2.3 Chart
由社区共同维护的开源项目，8种可视化展现形式，每种方式都具有动态效果并且可定制，支持所IE9以上浏览器。
Chart.js2.0版本的新增特点包括：
（1） 可以混合不同图表，以便在数据集之间提供清晰的视觉区分。
（2）新增图表轴类型，轻松绘制各种复杂的图形。
（3）改变数据、更新颜色和添加数据时，均有开箱即用动画效果。
3 .大数据可视化工具分析
目前国内外数据可视化市场上已有不少成熟产品，厂商主要来自这几类：一类是提供商业可视化产品的软件服务商，国内有帆软、永洪科技、东软、四方伟业、SMARTBI等，国外有SAP BO、IBMCognos、Oracle BIEE、Microsoft BI等传统商业智能软件服务商。第二类是新兴可视化产品提供商，国内有恒泰实达、数字冰雹、海致BDP等，国外有Tableau、Qlik、Micros trategy等。第三类是互联网巨头公司，如网易有数、百度图说、阿里云数加，其大数据平台可视化基本是自己设计开发，同时售卖各种数据产品。第四类是互联网大数据服务商，如百分点、海云数据、神策数据、友盟等。每款产品有其自身特点和应用场景，以下介绍几款有代表性的产品。
3.1 DataV
DataV是阿里云的一款数据可视化产品，用来分析并展示庞大复杂的数据，分为基础、企业和专业版，可满足多种业务的展示需求。功能特点：
（1）提供多种模板。DataV提供指挥中心、地理分析、实时监控、汇报展示等多种场景模版。（2）多种数据类型。AnalyticDB、RDS MySQL、兼容MySQL数据库、CSV文件、DataV数据代理服务、API、静态JSON。（3）图形化界面。无须编程能力，拖拽使用，简单方便。（4）多分辨率适配。DataV特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规的拼接分辨率。
企业版相比基础版，增加功能包括：
（1）支持大屏加密发布。（2）支持更多数据源类型。（3）支持的项目数量增多。（4）支持本地部署。（5）支持自定义组件。
3.2 RayData
RayData是腾讯云大数据实时可视化交互系统，系统实现数据实时图形可视化并实时交互，使用户对数据的管理更加方便，应用场景丰富。产品处于内测阶段，可通过申请来获得使用资格。功能特点：
（1）超高分辨率。采用独特的超高分辨率运算引擎，使图像不被压缩，结合其不同于传统可视化界面的表现形式，最终呈现具有视觉冲击和丰富细节的结果。（2）内容模块个性化。灵活的程序架构，模块化管理，方便个性化新增业务，满足各种需求。（3）端到端软硬一体机。RayData提供端到端产品方案，包括从软件到大屏以及后端渲染服务器，只需用户提供数据源，无须二次开发。（4）实时交互。根据接入的数据实時变化，且为双向互动，提高用户的参与度。此外，用户利用移动端能远程对大屏进行控制，控制模块根据需求自由定制。
4. 总结
在大数据时代，可视化技术占据着不可替代的一部分，应用于各个行业领域，商用和免费的产品繁多，不管有没有编程经验的用户都能找到自己适用的工具。目前来看，可视化技术已取得了一定的成果，但随着时代发展，数据的规模和复杂度也会不断增加，这项技术面临的问题和挑战也会不断增加，相信未来的可视化工具功能会更加强大全面。
参考文献
[1]崔迪，郭小燕，陈为.大数据可视化的挑战与最新进展[J].计算机应用.2017- 07-10.
[2]黄玺磊.大数据的最后一公里——数据可视化技术[J].中国金融电脑，2017- 02-07.
[3]刘勘，周晓峥，周洞汝.基于平行坐标法的可视数据挖掘[J].计算机研究与发展，2003-02-11.
[4]中国大数据可视化市场份额排名出炉，中国软件网.
【关键词】大数据;可视化;技术;工具
引言
现代社会，人类早已和数据密不可分，海量数据的组成真实地反映了现实世界的复杂事物，但人脑无法直接把庞大的数据转化为有效的信息，数据可视化这项技术有助于我们更好的管理和理解这些数据，以及发现复杂数据更深层次的联系。21世纪初Jim Thomas教授提出可视化是大数据挖掘与分析中一项必不可少的技术，发展至今从入门级的Excel到专业级的商业产品，这项技术已经较为成熟，它的应用无论在金融、销售、物流、电力、交通、传媒，还是医学、地理等科学都发挥着重要的作用，帮助各领域人员发现问题，诊断问题，解决问题。
1 .大数据可视化基本概念
在大数据时代，数据的价值将得到最大程度的释放，微小的数据也有可能产生超乎想象的价值。大数据的特点包括：Volume（数据量大），数据从GB到TB、PB乃至EB级别，采集、存储和计算的量大;Variety（类型繁多），广泛的数据来源，决定了大数据形式多样性;Velocity（速度快失效高），数据增长速度快，处理速度快，时效性高;Value（价值密度低），所产生的数据中，有价值的数据所占比例很小，数据价值密度较低;Online（数据在线），数据一直在线，随时能调用和计算，这是大数据区别于传统数据最大的特征。
数据可视化是一种通过将数据编码为可视对象如点、线、颜色、位置关系、动态效果等，并将对象组成图形来传递数据信息的技术。其目的是以清晰且高效的方式将信息传递给用户，是利用人眼的感知能力对数据进行交互的可视化表达以增强数据认知的技术。
数据可视化技术包含以下几个基本概念：
数据空间：是由n维属性和m个元素组成的数据集所构成的多维信息空间;
数据开发：是指利用一定的算法和工具对数据进行定量的推演和计算;
数据分析：指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据;
数据可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。
2. 大数据可视化技术有哪些
前端界面中几种常见的大数据可视化技术，例如Highchar ts、Echarts、Charts、D3，使用JavaScript结合HTML5中的Can vas和SVG实现，能在pc和移动设备上运行且支持大多数主流浏览器，兼容性很好。
2.1 Highcharts
开源但不完全免费的软件，非商业用途可免费使用，商业用途需授权，支付相关费用获得技术支持、图表定制服务以及VIP专属服务。
Highcharts主要优势在于：
（1）兼容性高，可以在所有的移动设备及电脑上的浏览器（IE6以上）中使用。（2）配置语法简单，所有配置都是JSON对象，易于读写和解析。（3）支持用户一键导出以及直接打印图表。（4）支持多坐标轴，同时对比多个数据。
2.2 Echarts
开源的、免费的可视化库，功能丰富，涵盖各行业图标，可根据需求高度个性化定制。
ECharts全新4.0版本新特点：千万级数据可视化渲染能力、SVG + Canvas 双引擎动力更佳、数据样式分离及扁平配置让开发更便捷、首创无障碍访问支持、适配微信小程序和ppt。
2.3 Chart
由社区共同维护的开源项目，8种可视化展现形式，每种方式都具有动态效果并且可定制，支持所IE9以上浏览器。
Chart.js2.0版本的新增特点包括：
（1） 可以混合不同图表，以便在数据集之间提供清晰的视觉区分。
（2）新增图表轴类型，轻松绘制各种复杂的图形。
（3）改变数据、更新颜色和添加数据时，均有开箱即用动画效果。
3 .大数据可视化工具分析
目前国内外数据可视化市场上已有不少成熟产品，厂商主要来自这几类：一类是提供商业可视化产品的软件服务商，国内有帆软、永洪科技、东软、四方伟业、SMARTBI等，国外有SAP BO、IBMCognos、Oracle BIEE、Microsoft BI等传统商业智能软件服务商。第二类是新兴可视化产品提供商，国内有恒泰实达、数字冰雹、海致BDP等，国外有Tableau、Qlik、Micros trategy等。第三类是互联网巨头公司，如网易有数、百度图说、阿里云数加，其大数据平台可视化基本是自己设计开发，同时售卖各种数据产品。第四类是互联网大数据服务商，如百分点、海云数据、神策数据、友盟等。每款产品有其自身特点和应用场景，以下介绍几款有代表性的产品。
3.1 DataV
DataV是阿里云的一款数据可视化产品，用来分析并展示庞大复杂的数据，分为基础、企业和专业版，可满足多种业务的展示需求。功能特点：
（1）提供多种模板。DataV提供指挥中心、地理分析、实时监控、汇报展示等多种场景模版。（2）多种数据类型。AnalyticDB、RDS MySQL、兼容MySQL数据库、CSV文件、DataV数据代理服务、API、静态JSON。（3）图形化界面。无须编程能力，拖拽使用，简单方便。（4）多分辨率适配。DataV特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规的拼接分辨率。
企业版相比基础版，增加功能包括：
（1）支持大屏加密发布。（2）支持更多数据源类型。（3）支持的项目数量增多。（4）支持本地部署。（5）支持自定义组件。
3.2 RayData
RayData是腾讯云大数据实时可视化交互系统，系统实现数据实时图形可视化并实时交互，使用户对数据的管理更加方便，应用场景丰富。产品处于内测阶段，可通过申请来获得使用资格。功能特点：
（1）超高分辨率。采用独特的超高分辨率运算引擎，使图像不被压缩，结合其不同于传统可视化界面的表现形式，最终呈现具有视觉冲击和丰富细节的结果。（2）内容模块个性化。灵活的程序架构，模块化管理，方便个性化新增业务，满足各种需求。（3）端到端软硬一体机。RayData提供端到端产品方案，包括从软件到大屏以及后端渲染服务器，只需用户提供数据源，无须二次开发。（4）实时交互。根据接入的数据实時变化，且为双向互动，提高用户的参与度。此外，用户利用移动端能远程对大屏进行控制，控制模块根据需求自由定制。
4. 总结
在大数据时代，可视化技术占据着不可替代的一部分，应用于各个行业领域，商用和免费的产品繁多，不管有没有编程经验的用户都能找到自己适用的工具。目前来看，可视化技术已取得了一定的成果，但随着时代发展，数据的规模和复杂度也会不断增加，这项技术面临的问题和挑战也会不断增加，相信未来的可视化工具功能会更加强大全面。
参考文献
[1]崔迪，郭小燕，陈为.大数据可视化的挑战与最新进展[J].计算机应用.2017- 07-10.
[2]黄玺磊.大数据的最后一公里——数据可视化技术[J].中国金融电脑，2017- 02-07.
[3]刘勘，周晓峥，周洞汝.基于平行坐标法的可视数据挖掘[J].计算机研究与发展，2003-02-11.
[4]中国大数据可视化市场份额排名出炉，中国软件网.