论文部分内容阅读
IDC预测，全球的数据总量将在2020年达到40ZB。40ZB的数据量到底是多少呢？IDC给出了一个比喻：40ZB数据量相当于全球所有沙滩的沙粒总数的57倍。但在如此浩如烟海的数据中，只有不到1%的数据得到了有效分析。数据就像是一座沉睡的宝藏，它需要我们利用大数据这一新架构、新工具，点石成金，变废为宝。
大数据由业务驱动
为什么在官方的健康组织还没有发布健康趋势之前，Google就能利用它的搜索引擎准确地预测流行病的爆发？大数据给我们所有人上了一课，也让我们更加坚信，数据本身是有价值的，关键看你如何处理、分析和使用它。
云计算不是一种新的技术，而是一种新的IT消费模式。同样，大数据也不是简单的技术组合，而是对企业商业模式的颠覆和再造，对业务创新和发展起到强大的推动作用，这样的例子已经比比皆是。
比如，为了应对激烈的市场竞争，中信银行信用卡中心迫切需要建立一个以数据仓库为核心的分析平台，实现业务数据集中和整合，以支持多样化和复杂化的数据分析。在部署了大数据应用系统之后，中信银行信用卡中心实现了近似实时的商业智能（BI）和秒级营销，运营效率得到全面提升。
再比如，广东地税依托大数据平台推出的网络发票能够实时采集纳税人的开票数据，实时监控纳税人的开票情况，实时向社会公开开票查询信息，实时为公众查验发票真伪，实现了对纳税人经营行为的全监控。同时，广东地税依托大数据平台还实现了对地税干部的税收执法和行政管理进行全程分析监控，有效防控了各类执法和廉政风险。
在互联网、金融、电信、能源、医疗、视频监控、政府等众多行业，大数据正在日益显现出其独特的价值。在企业内部，大数据可以为企业提供更科学的决策依据；在企业外部，大数据还是收集客户信息，建立360°客户视图，让企业实现精准化营销的工具。从表面看，大数据带来的是一种技术上的变革，它有效地提高了企业和社会的生产力，而在这种技术变革的背后是业务需求使然，是人们对提高效率的不断追求在推动这种变革的发生。
纵向打穿“4V”
经济全球化的趋势促进了大数据的应用需求。企业的管理者需要借助丰富的数据和实时分析工具，提高企业内部的工作效率，同时还要密切与客户的关系，进一步提高客户满意度。商业模式的转变、营销手段的丰富，要求企业不能在旧有的基础架构平台上缝缝补补，大数据需要一个全新的高效的基础架构平台。
大数据这个概念出现前，“海量数据”这样的称呼人们已经使用了很多年。虽然大数据与海量数据之间还是有量上的差距，但是对于很多企业用户来说，没有适合的工具对海量数据进行挖掘是数据价值难以释放的一个主要原因。在大数据分析工具出现前，商业智能、数据挖掘已经进行了多年，为什么数据的价值没有得到企业充分的重视呢？因为以前的数据挖掘是对抽样数据进行分析，而且数据分析是离线的，数据的价值没能得到全面、实时的展现。
那么构建一个可用的大数据系统，应该从何处入手呢？
现在，人们已经基本认同了大数据“4V”的特征：第一，Volume表明数据的体量巨大，企业处理的信息总量已经从TB级别跃升到PB级别；第二，Variety表明数据类型繁多，包括结构化、非结构化等类型的数据，尤其是非结构化数据的大幅增长对传统的处理结构化数据为主的架构带来了巨大冲击；第三，Velocity表明实时处理是大数据的一个典型特征，而这也正是它区别于传统数据挖掘技术的关键所在；第四，Value表明数据是有价值的，这也是大数据挖掘的最终目标。
“4V”虽然准确地描述出了大数据的基本特点，但是“4V”只是单摆浮搁，并没有从逻辑的角度将大数据应用的递进关系明确地展示出来。正是基于此，华为抛出了金字塔型“4V”理论，展现了从Volume到Velocity再到Variety，最终到Value的层次化的递进式的创造大数据价值的方法论。
具体来说，第一步，企业需要建立一个能够高效处理海量数据的存储架构平台，它既能处理大量的小文件，也能处理单体较大的文件。第二步，这个存储架构平台要具备极高的处理性能，因为大数据对实时处理的要求非常高。第三步，这个存储架构平台要能处理多样化的数据，包括结构化数据和非结构化数据。只有通过前面三步打下的基础，企业用户才能进入最后一步，在一个高效的专门为大数据构建和优化的平台上进行数据分析和挖掘，并最终获得所需的价值。
大数据价值的实现过程是一个递进的逐层深入的过程，但是建立高效的存储架构平台是前提，它是大数据落地的基础。
Hadoop不是全部
现在人们一谈到大数据，首先会想到Hadoop。其实，Hadoop只是大数据基础架构与上层应用分析之间的一个桥梁，而不是大数据的全部。在广电等很多领域，大数据处理并不一定要用到Hadoop。现在，使用Hadoop更多的是一些互联网企业。然而除了互联网大数据以外，行业大数据同样重要，甚至价值密度更高。因此，将Hadoop与大数据划等号，这是一个认识上的误区。业内一位大数据专家指出，大数据不是一个分析工具，而是新的基础架构。
华为认为，大数据分析的一个重要前提是，必须先建立一个高效的大数据存储平台。那么，所谓的高效又是如何来衡量的呢？
高效的第一个衡量指标是就是性能。性能是大数据存储平台的基石之一，没有性能的保证，大数据系统无异于空中楼阁。比如，中央电视台每晚7：30要准时播出天气预报，如果气象分析要经过24小时才能得到最后的结果，就会错过天气预报播出的时间，即使得到的预测结果再准确也是无用的结果。另外，在智能交通领域，交通部门需要掌握实时的路况信息，对交通违章或其他突发事件进行及时处理。如果后台的大数据采集、处理和分析平台不能在最短的时间内给出结果，那么智能交通也只能是一句空谈。其实不仅是在大数据方面，在整个IT领域，企业用户对性能的追求都是无止境的，只不过大数据对实时处理的要求非常高，所以高性能对于大数据来说显得尤为重要。
其次，大数据强调的是简化使用，提高效率。如果不具备专业技能和人员，Hadoop的实施将非常困难。简化大数据的使用，其核心是在同一个平台之上针对数据的全生命周期进行管理，尽量避免异构环境下的数据迁移、数据丢失带来的风险等。
最后，高效的大数据存储平台应该采用多位一体的技术架构，即在同一个系统内，实现存储、归档和分析的所有功能，完成对数据的管理，并提供开放的分析接口，与BI软件和应用软件更好地连接，进一步提高查询效率。此外，在这样一个一体化的结构之上，用户还可以根据业务的情况灵活添加相关的功能模块。华为的大数据存储平台就具备了上述功能。
大数据带来的改变从基础架构层面一直延伸至业务层面。企业的管理者应该意识到，业务的创新需要底层创新的架构来支撑。从业务的角度看，企业的核心诉求是简化应用，实现可持续发展，提高业务的效率，而这些业务目标的实现必须建立在一个合理的、高效的架构之上，只有这样才能更好地发挥IT的作用，获得更大的数据价值。
大数据由业务驱动
为什么在官方的健康组织还没有发布健康趋势之前，Google就能利用它的搜索引擎准确地预测流行病的爆发？大数据给我们所有人上了一课，也让我们更加坚信，数据本身是有价值的，关键看你如何处理、分析和使用它。
云计算不是一种新的技术，而是一种新的IT消费模式。同样，大数据也不是简单的技术组合，而是对企业商业模式的颠覆和再造，对业务创新和发展起到强大的推动作用，这样的例子已经比比皆是。
比如，为了应对激烈的市场竞争，中信银行信用卡中心迫切需要建立一个以数据仓库为核心的分析平台，实现业务数据集中和整合，以支持多样化和复杂化的数据分析。在部署了大数据应用系统之后，中信银行信用卡中心实现了近似实时的商业智能（BI）和秒级营销，运营效率得到全面提升。
再比如，广东地税依托大数据平台推出的网络发票能够实时采集纳税人的开票数据，实时监控纳税人的开票情况，实时向社会公开开票查询信息，实时为公众查验发票真伪，实现了对纳税人经营行为的全监控。同时，广东地税依托大数据平台还实现了对地税干部的税收执法和行政管理进行全程分析监控，有效防控了各类执法和廉政风险。
在互联网、金融、电信、能源、医疗、视频监控、政府等众多行业，大数据正在日益显现出其独特的价值。在企业内部，大数据可以为企业提供更科学的决策依据；在企业外部，大数据还是收集客户信息，建立360°客户视图，让企业实现精准化营销的工具。从表面看，大数据带来的是一种技术上的变革，它有效地提高了企业和社会的生产力，而在这种技术变革的背后是业务需求使然，是人们对提高效率的不断追求在推动这种变革的发生。
纵向打穿“4V”
经济全球化的趋势促进了大数据的应用需求。企业的管理者需要借助丰富的数据和实时分析工具，提高企业内部的工作效率，同时还要密切与客户的关系，进一步提高客户满意度。商业模式的转变、营销手段的丰富，要求企业不能在旧有的基础架构平台上缝缝补补，大数据需要一个全新的高效的基础架构平台。
大数据这个概念出现前，“海量数据”这样的称呼人们已经使用了很多年。虽然大数据与海量数据之间还是有量上的差距，但是对于很多企业用户来说，没有适合的工具对海量数据进行挖掘是数据价值难以释放的一个主要原因。在大数据分析工具出现前，商业智能、数据挖掘已经进行了多年，为什么数据的价值没有得到企业充分的重视呢？因为以前的数据挖掘是对抽样数据进行分析，而且数据分析是离线的，数据的价值没能得到全面、实时的展现。
那么构建一个可用的大数据系统，应该从何处入手呢？
现在，人们已经基本认同了大数据“4V”的特征：第一，Volume表明数据的体量巨大，企业处理的信息总量已经从TB级别跃升到PB级别；第二，Variety表明数据类型繁多，包括结构化、非结构化等类型的数据，尤其是非结构化数据的大幅增长对传统的处理结构化数据为主的架构带来了巨大冲击；第三，Velocity表明实时处理是大数据的一个典型特征，而这也正是它区别于传统数据挖掘技术的关键所在；第四，Value表明数据是有价值的，这也是大数据挖掘的最终目标。
“4V”虽然准确地描述出了大数据的基本特点，但是“4V”只是单摆浮搁，并没有从逻辑的角度将大数据应用的递进关系明确地展示出来。正是基于此，华为抛出了金字塔型“4V”理论，展现了从Volume到Velocity再到Variety，最终到Value的层次化的递进式的创造大数据价值的方法论。
具体来说，第一步，企业需要建立一个能够高效处理海量数据的存储架构平台，它既能处理大量的小文件，也能处理单体较大的文件。第二步，这个存储架构平台要具备极高的处理性能，因为大数据对实时处理的要求非常高。第三步，这个存储架构平台要能处理多样化的数据，包括结构化数据和非结构化数据。只有通过前面三步打下的基础，企业用户才能进入最后一步，在一个高效的专门为大数据构建和优化的平台上进行数据分析和挖掘，并最终获得所需的价值。
大数据价值的实现过程是一个递进的逐层深入的过程，但是建立高效的存储架构平台是前提，它是大数据落地的基础。
Hadoop不是全部
现在人们一谈到大数据，首先会想到Hadoop。其实，Hadoop只是大数据基础架构与上层应用分析之间的一个桥梁，而不是大数据的全部。在广电等很多领域，大数据处理并不一定要用到Hadoop。现在，使用Hadoop更多的是一些互联网企业。然而除了互联网大数据以外，行业大数据同样重要，甚至价值密度更高。因此，将Hadoop与大数据划等号，这是一个认识上的误区。业内一位大数据专家指出，大数据不是一个分析工具，而是新的基础架构。
华为认为，大数据分析的一个重要前提是，必须先建立一个高效的大数据存储平台。那么，所谓的高效又是如何来衡量的呢？
高效的第一个衡量指标是就是性能。性能是大数据存储平台的基石之一，没有性能的保证，大数据系统无异于空中楼阁。比如，中央电视台每晚7：30要准时播出天气预报，如果气象分析要经过24小时才能得到最后的结果，就会错过天气预报播出的时间，即使得到的预测结果再准确也是无用的结果。另外，在智能交通领域，交通部门需要掌握实时的路况信息，对交通违章或其他突发事件进行及时处理。如果后台的大数据采集、处理和分析平台不能在最短的时间内给出结果，那么智能交通也只能是一句空谈。其实不仅是在大数据方面，在整个IT领域，企业用户对性能的追求都是无止境的，只不过大数据对实时处理的要求非常高，所以高性能对于大数据来说显得尤为重要。
其次，大数据强调的是简化使用，提高效率。如果不具备专业技能和人员，Hadoop的实施将非常困难。简化大数据的使用，其核心是在同一个平台之上针对数据的全生命周期进行管理，尽量避免异构环境下的数据迁移、数据丢失带来的风险等。
最后，高效的大数据存储平台应该采用多位一体的技术架构，即在同一个系统内，实现存储、归档和分析的所有功能，完成对数据的管理，并提供开放的分析接口，与BI软件和应用软件更好地连接，进一步提高查询效率。此外，在这样一个一体化的结构之上，用户还可以根据业务的情况灵活添加相关的功能模块。华为的大数据存储平台就具备了上述功能。
大数据带来的改变从基础架构层面一直延伸至业务层面。企业的管理者应该意识到，业务的创新需要底层创新的架构来支撑。从业务的角度看，企业的核心诉求是简化应用，实现可持续发展，提高业务的效率，而这些业务目标的实现必须建立在一个合理的、高效的架构之上，只有这样才能更好地发挥IT的作用，获得更大的数据价值。