论文部分内容阅读
“在互联网+的大背景下，新奥能源正在思考未来管理的模式以及公司战略升级的方向。我们需要打造出基于大数据驱动的智能运营体系，通过持续的大数据治理和大数据应用迭代，推动公司管理的变革提升和业务的创新发展。同时，针对于燃气产业的特点，我们希望通过业务数据的深度挖掘来保障公司资源的高效整合与利用。”新奥能源控股有限公司信息副总监崔占海这样表述新奥能源启动大数据项目的初衷。
新奥的困惑
其实，新奥能源的大数据项目还有一个现实的背景：从全球范围看，政府为改善环境质量，大力推广清洁能源发展，而公民环保意识整体提升，清洁能源可谓集万千宠爱于一身，市场前景看好。而与此同时，新能源企业正面临着日趋严格的政府监管、激烈的可替代能源的竞争和更严苛的消费者需求。新能源企业如果继续以现有的业务模式来面对当前的市场环境，往往会捉襟见肘，而大数据为其提升管理效率和拓展业务边界提供了前所未有的可能性。
原始数据是零散和没有规律的，经过筛选和组织后会成为信息，而把相关联的信息整合并有效地呈现最终转化为知识与价值才是最关键的。“如何快速（甚至是实时）和准确地对这些海量数据进行建模、分析与展现，从而真正实现数据的价值”是新奥大数据平台重点解决的问题。“数据可视化分析是最好的工具。” 崔占海说，“不是人人都能够成为数据科学家，这需要有极高的专业知识和深厚的行业经验和洞察力。而有了数据可视化分析工具，一个普通人也能看出一些关键指标和一些重要的趋势性暗示。”
只有看得见才能做得好
大数据整体产业链基本分为这样几个环节：数据收集、数据处理、数据分析、数据可视化在简化数据量和降低大数据应用的复杂性中，大数据分析发挥着关键的作用。对于大数据的存储、管理和处理任务离不开云计算，而与人交互离不开数据可视化。数据可视分析解决的是大数据落地问题。当经过数据可视分析和可视化的方法以逻辑形式呈现，企业决策层就能轻松通过数据实现辅助决策和预判了，从而让数据与行业结合，成为商品、产生价值。
数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程，是大数据信息处理最为重要的环节。数据可视化不仅能够帮助数据的最终呈现，也对发现数据中新的信息气到了非常关键的作用。举个例子，错综的关系是众多大数据场景中的重要一环，社交网络或许就是最显著的例子，想要通过文本或表格的形式理解其中的大数据信息是非常困难的；相反，可视化却能够将这些网络的趋势和固有模式展现地更为清晰。
总结来说，可视化可以帮助大数据获得完整的数据视图并挖掘数据的价值，让普通人也能变成“数据科学家”，这是其最大价值所在。正如中国传媒大学教授沈浩所说：除了上帝，每个人都须用数据说话！怎么说？显然“可视化”很重要，因为“只有看得见才做得好，看得见才能做得到”。
友好的人机交互不是那么容易
可视化方法可通过创建表格、图标、图像等直观地表示数据。但与一般性存储应用的可视化方案不同，由于面对的是大数据，所以在数据获取和统计方面是难点。
比如统计当前云存储系统的文件总量是一个相对困难的问题：一方面时效性难以把握，另一方面文件总量是不断变化的，导致结果的误差总是存在。而要解决这个问题必须从底层、从云存储系统入手。可以在元数据服务器存储尽量多的文件元数据，同时计算和存储统计模型数据等等，同时必须意识到：当数据集达到一定数量级，那么必须允许统计值存在允许的误差。而在数据的呈现与交互方面，基于大数据的可视化分析也面临着挑战。统计图和主题图，不同的需求导致了不同的数据呈现和交互方式。但每次根据不同的需求去更改设计是个劳心费力的工作，需要同时带有用户驱动的数据简化模型、高可扩展性与多级层次的数据可视化工具。
所以，大规模数据和高维度数据会使可视化工作变得困难。对于像新奥能源这样的企业用户来说，首先应该保证网络与硬件设备能够满足数据的高速获取以及完整性，并通过数据治理或信息管理确保数据准确与安全，必要的时候可以请专业人士比如数据科学家来对数据进行解读。
平台很关键
但是可视化只是让企业的数据讲述方式更加丰富了一些而已，要成功的完成数据讲述，关键还是在于数据的质量。
Qlik亚太及日本区副总裁Phillip Beniac是可视化分析领域的技术专家，在该领域有20多年的经验。而Qlik是一家可视化分析厂商，该公司不久前刚刚宣布在中国成立外商独资企业。Phillip Beniac认为，企业在进行大数据的可视化分析时，最重要的一点是数据的完整性和准确性。
他说：“数据已经成为企业和机构的战略性资产，数据也带来了无限可能。但是要想把数据、终端和人连在一起，实现人机交互，唯一能做到的就是通过平台来实现。没有平台，就没有办法把这些数据和人连接起来，也无法随时随地将数据的价值和人的能力充分发挥出来。可视化分析固然重要，用户能够以自己喜欢的形式来使用和利用数据。但关键是用户是否有这样一个平台，能够提供一个安全的、准确的信息和数据，让用户真正了解数据背后隐藏的内容，从而以此做出正确的商业决策，提高企业管理和运营效率。所以，一个理想的大数据可视化分析平台应该具备的能力是吸收所有的数据来源，不仅仅是一部分的数据，这对数据分析或者是数据视觉化非常重要的，要整合所有的数据，而不是部分数据，而且这些数据是准确和安全的。”
新奥的困惑
其实，新奥能源的大数据项目还有一个现实的背景：从全球范围看，政府为改善环境质量，大力推广清洁能源发展，而公民环保意识整体提升，清洁能源可谓集万千宠爱于一身，市场前景看好。而与此同时，新能源企业正面临着日趋严格的政府监管、激烈的可替代能源的竞争和更严苛的消费者需求。新能源企业如果继续以现有的业务模式来面对当前的市场环境，往往会捉襟见肘，而大数据为其提升管理效率和拓展业务边界提供了前所未有的可能性。
原始数据是零散和没有规律的，经过筛选和组织后会成为信息，而把相关联的信息整合并有效地呈现最终转化为知识与价值才是最关键的。“如何快速（甚至是实时）和准确地对这些海量数据进行建模、分析与展现，从而真正实现数据的价值”是新奥大数据平台重点解决的问题。“数据可视化分析是最好的工具。” 崔占海说，“不是人人都能够成为数据科学家，这需要有极高的专业知识和深厚的行业经验和洞察力。而有了数据可视化分析工具，一个普通人也能看出一些关键指标和一些重要的趋势性暗示。”
只有看得见才能做得好
大数据整体产业链基本分为这样几个环节：数据收集、数据处理、数据分析、数据可视化在简化数据量和降低大数据应用的复杂性中，大数据分析发挥着关键的作用。对于大数据的存储、管理和处理任务离不开云计算，而与人交互离不开数据可视化。数据可视分析解决的是大数据落地问题。当经过数据可视分析和可视化的方法以逻辑形式呈现，企业决策层就能轻松通过数据实现辅助决策和预判了，从而让数据与行业结合，成为商品、产生价值。
数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程，是大数据信息处理最为重要的环节。数据可视化不仅能够帮助数据的最终呈现，也对发现数据中新的信息气到了非常关键的作用。举个例子，错综的关系是众多大数据场景中的重要一环，社交网络或许就是最显著的例子，想要通过文本或表格的形式理解其中的大数据信息是非常困难的；相反，可视化却能够将这些网络的趋势和固有模式展现地更为清晰。
总结来说，可视化可以帮助大数据获得完整的数据视图并挖掘数据的价值，让普通人也能变成“数据科学家”，这是其最大价值所在。正如中国传媒大学教授沈浩所说：除了上帝，每个人都须用数据说话！怎么说？显然“可视化”很重要，因为“只有看得见才做得好，看得见才能做得到”。
友好的人机交互不是那么容易
可视化方法可通过创建表格、图标、图像等直观地表示数据。但与一般性存储应用的可视化方案不同，由于面对的是大数据，所以在数据获取和统计方面是难点。
比如统计当前云存储系统的文件总量是一个相对困难的问题：一方面时效性难以把握，另一方面文件总量是不断变化的，导致结果的误差总是存在。而要解决这个问题必须从底层、从云存储系统入手。可以在元数据服务器存储尽量多的文件元数据，同时计算和存储统计模型数据等等，同时必须意识到：当数据集达到一定数量级，那么必须允许统计值存在允许的误差。而在数据的呈现与交互方面，基于大数据的可视化分析也面临着挑战。统计图和主题图，不同的需求导致了不同的数据呈现和交互方式。但每次根据不同的需求去更改设计是个劳心费力的工作，需要同时带有用户驱动的数据简化模型、高可扩展性与多级层次的数据可视化工具。
所以，大规模数据和高维度数据会使可视化工作变得困难。对于像新奥能源这样的企业用户来说，首先应该保证网络与硬件设备能够满足数据的高速获取以及完整性，并通过数据治理或信息管理确保数据准确与安全，必要的时候可以请专业人士比如数据科学家来对数据进行解读。
平台很关键
但是可视化只是让企业的数据讲述方式更加丰富了一些而已，要成功的完成数据讲述，关键还是在于数据的质量。
Qlik亚太及日本区副总裁Phillip Beniac是可视化分析领域的技术专家，在该领域有20多年的经验。而Qlik是一家可视化分析厂商，该公司不久前刚刚宣布在中国成立外商独资企业。Phillip Beniac认为，企业在进行大数据的可视化分析时，最重要的一点是数据的完整性和准确性。
他说：“数据已经成为企业和机构的战略性资产，数据也带来了无限可能。但是要想把数据、终端和人连在一起，实现人机交互，唯一能做到的就是通过平台来实现。没有平台，就没有办法把这些数据和人连接起来，也无法随时随地将数据的价值和人的能力充分发挥出来。可视化分析固然重要，用户能够以自己喜欢的形式来使用和利用数据。但关键是用户是否有这样一个平台，能够提供一个安全的、准确的信息和数据，让用户真正了解数据背后隐藏的内容，从而以此做出正确的商业决策，提高企业管理和运营效率。所以，一个理想的大数据可视化分析平台应该具备的能力是吸收所有的数据来源，不仅仅是一部分的数据，这对数据分析或者是数据视觉化非常重要的，要整合所有的数据，而不是部分数据，而且这些数据是准确和安全的。”