论文部分内容阅读
我们尚无法确定万物是否皆数，但是，在移动互联网时代，人类至少已经推开了这样一个时代的大门：通过对海量大数据的高效分析获得商业以及社会价值。大数据为移动互联网带来了新的价值，也为迈向物联网时代奠定了基础。
一个数据分析师以“指挥家”的模样出现在舞台上。随着他手臂的有力挥舞，一串串数据被驯服了。他游刃有余，但数据越来越多，来势越来越凶猛。他有点吃力，他左右摇摆，他手忙脚乱！一阵巨浪打过来，他站立的地方犹如一叶扁舟覆沒在数据的海洋……
同样的场景，另一个分析师出现了，还是那挥舞的手臂，还是海量的数据扑面而来，但他驾轻就熟，镇定自如地指挥着，仿佛那不是杂乱无章的数据，而是音乐大师谱写的传世乐章。
2012年7月13日，在亮马河大厦的“大数据世界论坛”上，SAS公司首席咨询顾问张磊博士在演讲前，播放了这么一段激动人心的视频。全场为之雷动。
移动互联网迎来了大数据
“这是像我这样的数据人最为激动人心的时刻，因为数据库、大数据已经成为变革的中心，事实上可以成为一场革命，在IT领域、制造业、零售业、政府管理、科技，大数据改变了整个世界的运行方式。因此，我们称之为大数据的新世界。”
孙博凯仿佛还沉浸在刚才的氛围中。他是微软亚太研发集团首席技术官。孙博凯说，推动大数据变革的有几大因素，比如价格低廉的存储和云计算能力，比如“大家都意识到的移动设备的爆炸，每个人都有一个或者一个以上的移动设备，现在全世界的移动设备用户可能已经达到了55亿。”而且，“这不仅仅关乎到网络用户，还关乎到传感器，我们预计会有100亿的传感器连到网络上，这一切都为我们带来了大数据的新变革。”
也就是说，谱写这数字音符的，不是舒伯特、莫扎特，而是移动互联网时代的每一个网民以及每一台智能手机、电脑、传感器。而大数据也就是由此产生的有别于传统结构化数据的非结构化数据，或者说，传统技术无法分析出有价值的结果的数据。它占到了全部数据总量的85％。
对于大数据的来源，英特尔行业合作与解决方案部中国区总监凌琦换了一种更为简洁的说法，除了社交网络及传统的商业领域“人跟人交易、人跟人沟通”所产生的数据之外，“还有一类是机器和机器、现有智能设备网络中产生的数据，这个数量会更大，而互联网走向物联网这条路是必然趋势，随着时间的增长，大家会看到物联网产生的数据会更多”。
凌琦说，全球的数据使用量到2020年会增长44倍，达到35.2PB的主要增长来源，就是大数据。
与传统数据相比，大数据具有以下四个典型特征，即多样性（variety）、体量（volume）、速度（velocity）以及价值（value），也就是说，它集结构复杂、体量庞大和快速处理于一身，并最终产生巨大的商业和社会价值。
就像Forrester Research资深分析师曹宇钦说的那样，大数据并非全新技术，“大数据最主要是帮助企业对现有的数据、已经产生的数据做一些整合，相应地做少量的投入而得到更大的回报”。我们甚至还可以说，传统互联网也产生了很多大数据，但是，移动互联网的蓬勃发展、云计算以及物联网的初步应用，有力地推进了大数据时代的来临，这是毋庸置疑的。
大数据分析的难点
设想你在京东商城或者亚马逊订了一件商品，那么机器就会将你的ID号码、送货地址、手机、电话、电子邮件以及收货时间等等全部记录下来。如果你提交了物品评论，或者和好友在微博上进行了分享，同样，也会被记录下来。
洞察这一切，就意味着梦寐以求的商机。
故而，孙博凯断言：“两家公司，有一家公司利用大数据技术而另一家却沒有采用，那么，未来它们的财务状况会出现明显的不同，大数据已经成为了保持企业竞争优势的竞争力。”
他说，在微软看来，大数据意味着管理大数据端到端的生命周期，“管理数据，如何获取、存储、保护安全数据；下一步，如何保护你的数据，如何清洁、发现相关的数据，如何将其他的数据与其连接起来；最后，如何在数据中获得洞察力。”
但问题是，对大数据的分析却并非易事。
凌琦认为，传统的存储结构需要升级为扩展性的存储架构，否则无法适应现有的大数据存储，同时，对于分布式的文件系统的支撑之后，需要进行实时的流处理，而“传统的数据分析更多的是结构化，数据量是有限的，集中式处理、批量处理，也无法满足需要。”
赛仕软件研究开发（北京）有限公司总经理刘政说，在大数据时代，数据分析的手段是关键，“但是传统的数据分析能力，无法处理这么大量的数据。我们平常分析上千万的数据量的时候，都会花费几十个小时的时间才能得到结果。当你的数据量达到十亿的时候，软件就根本运行不下去，有的时候会花上好几十天，这个速度人们是无法接受的。”
他列举了一些传统的分析技术带来的困惑。比如，由于分析手段的限制，取样时的样本数不够大，不能充分利用所有的数据，无形中破坏了信息的完整性；又比如，受限于分析能力而无法获取复杂问题的答案，受限于时间而不得不采用某项简单的建模技术，同样，也是由于沒有足够的时间来执行多次迭代，你不得不对模型净度进行妥协等等。
刘政说，上世纪50年代，美国飞行员发现，在跟敌人作战的时候通过OODA方法就可以有效地赢得战争，也就是说，“如果你的决策比你的对手快，你就能够占得先机”。
速度在这里被提到了战略高度。对大数据的分析，也同样如此。
品友互动是中国最大的数字广告互联网技术公司，率先在广告技术领域采用大数据研究方法，搭建了多个以Hadoop为基础的云计算平台。品有互动CEO黄晓南在接受《网络导报》记者专访时说，作为国内最大的需求方平台（DSP），品友互动每天处理上百亿的数据量，其DSP平台可以对接广告交易平台（Ad Exchange）进行实时竞价和智能算法,50毫秒内完成响应。
可见，沒有速度，再有价值的大数据也只能是一堆无法流通的钞票。
让大数据来为你做商业决策 黄晓南说，数据挖掘是博大精深的事情，似乎永远也沒有尽头，品友专注于做的无非就是“用用户的行为轨迹来描绘用户的属性，并且在实践的过程中去印证方法的正确性”。不过，在每天都见证数据挖掘会产生实质价值的过程中，她也收获颇丰。黄晓南说，作为大数据的实践者，品友互动的DSP已经成为很多客户的选择，广告投放的效率和效果都得到超过50%的提升。像Volvo汽车、海尔商城等品牌，投放目标人群覆盖地域、人口属性、个人关注和购买倾向四大类，帮助它们实现高效能的广告投放效果。
这个案例有效地支撑了曹宇钦的说法：“在大数据时代，用户投资大数据不仅仅是寻求对海量数据的收集、整理、分析的工具，而是要找到能够将数据与业务相结合，实时帮助决策者分析问题、解决问题，提供最佳决策的支持。”
孙博凯也认为，在大数据时代，必须对数据进行丰富，必须“把你的数据和世界其他地方的数据连接起来”，这样才能产生更多的价值。“首先你要保证它是清洁的、准确的，然后你会发现一些附加数据，与你所要分析的数据相关，你可以把自己的数据和Web数据整合起来，从中获得洞察。”
他举例说，如果你从事销售行业，希望看到自己的业绩表现如何，那么光看自己的销售业绩并不够，还需要看自己公司内部同事的业务如何，你做得比他们好还是比他们差；推而广之，你还必须看看其他的同业公司，不管是竞争对手还是合作伙伴，乃至“看一下全世界的数据，世界经济是加速还是放缓、是软着陆还是硬着陆，这对于你将会产生什么影响等。”
当然，我们现在已经找到了一些方法，初步的或者局部的。比如，SAS高性能分析软件就包括了网格计算、库内分析以及内存分析、可视化分析。甲骨文公司前不久也发布了自己的大数据一体机平台，“把大数据的存储、大数据的处理、大数据的BI展现在一台机器中全部融合进去”。
正如中国移动研究院首席科学家杨景所说：“要做好大数据，让整个供应链都拥有最新的技术，就必须关注大数据的工具，要有工具来支撑大数据时代的协同。最终，基于模型驱动的系统工程所满足的，不是功能需求而是商业需求。”
曾经有人说，国内几大微博巨头尽管有庞大的流量，并且在移动互联网领域布局颇好，但在探索商业模式方面却举步维艰，也许，在不久的将来，当他们在大数据领域有所斩获的时候，事情就会变得相对容易。
传统互联网也产生了很多大数据，但是，移动互联网的蓬勃发展、云计算以及物联网的初步应用，有力地推进了大数据时代的来临，这是毋庸置疑的。
两家公司，有一家公司利用大数据技术而另一家却沒有采用，那么，未来它们的财务状况会出现明显的不同，大数据已经成为了保持企业竞争优势的竞争力。
在大数据时代，用户投资大数据不仅仅是寻求对海量数据的收集、整理、分析的工具，而是要找到能够将数据与业务相结合，实时帮助决策者分析问题、解决问题，提供最佳决策的支持。
一个数据分析师以“指挥家”的模样出现在舞台上。随着他手臂的有力挥舞，一串串数据被驯服了。他游刃有余，但数据越来越多，来势越来越凶猛。他有点吃力，他左右摇摆，他手忙脚乱！一阵巨浪打过来，他站立的地方犹如一叶扁舟覆沒在数据的海洋……
同样的场景，另一个分析师出现了，还是那挥舞的手臂，还是海量的数据扑面而来，但他驾轻就熟，镇定自如地指挥着，仿佛那不是杂乱无章的数据，而是音乐大师谱写的传世乐章。
2012年7月13日，在亮马河大厦的“大数据世界论坛”上，SAS公司首席咨询顾问张磊博士在演讲前，播放了这么一段激动人心的视频。全场为之雷动。
移动互联网迎来了大数据
“这是像我这样的数据人最为激动人心的时刻，因为数据库、大数据已经成为变革的中心，事实上可以成为一场革命，在IT领域、制造业、零售业、政府管理、科技，大数据改变了整个世界的运行方式。因此，我们称之为大数据的新世界。”
孙博凯仿佛还沉浸在刚才的氛围中。他是微软亚太研发集团首席技术官。孙博凯说，推动大数据变革的有几大因素，比如价格低廉的存储和云计算能力，比如“大家都意识到的移动设备的爆炸，每个人都有一个或者一个以上的移动设备，现在全世界的移动设备用户可能已经达到了55亿。”而且，“这不仅仅关乎到网络用户，还关乎到传感器，我们预计会有100亿的传感器连到网络上，这一切都为我们带来了大数据的新变革。”
也就是说，谱写这数字音符的，不是舒伯特、莫扎特，而是移动互联网时代的每一个网民以及每一台智能手机、电脑、传感器。而大数据也就是由此产生的有别于传统结构化数据的非结构化数据，或者说，传统技术无法分析出有价值的结果的数据。它占到了全部数据总量的85％。
对于大数据的来源，英特尔行业合作与解决方案部中国区总监凌琦换了一种更为简洁的说法，除了社交网络及传统的商业领域“人跟人交易、人跟人沟通”所产生的数据之外，“还有一类是机器和机器、现有智能设备网络中产生的数据，这个数量会更大，而互联网走向物联网这条路是必然趋势，随着时间的增长，大家会看到物联网产生的数据会更多”。
凌琦说，全球的数据使用量到2020年会增长44倍，达到35.2PB的主要增长来源，就是大数据。
与传统数据相比，大数据具有以下四个典型特征，即多样性（variety）、体量（volume）、速度（velocity）以及价值（value），也就是说，它集结构复杂、体量庞大和快速处理于一身，并最终产生巨大的商业和社会价值。
就像Forrester Research资深分析师曹宇钦说的那样，大数据并非全新技术，“大数据最主要是帮助企业对现有的数据、已经产生的数据做一些整合，相应地做少量的投入而得到更大的回报”。我们甚至还可以说，传统互联网也产生了很多大数据，但是，移动互联网的蓬勃发展、云计算以及物联网的初步应用，有力地推进了大数据时代的来临，这是毋庸置疑的。
大数据分析的难点
设想你在京东商城或者亚马逊订了一件商品，那么机器就会将你的ID号码、送货地址、手机、电话、电子邮件以及收货时间等等全部记录下来。如果你提交了物品评论，或者和好友在微博上进行了分享，同样，也会被记录下来。
洞察这一切，就意味着梦寐以求的商机。
故而，孙博凯断言：“两家公司，有一家公司利用大数据技术而另一家却沒有采用，那么，未来它们的财务状况会出现明显的不同，大数据已经成为了保持企业竞争优势的竞争力。”
他说，在微软看来，大数据意味着管理大数据端到端的生命周期，“管理数据，如何获取、存储、保护安全数据；下一步，如何保护你的数据，如何清洁、发现相关的数据，如何将其他的数据与其连接起来；最后，如何在数据中获得洞察力。”
但问题是，对大数据的分析却并非易事。
凌琦认为，传统的存储结构需要升级为扩展性的存储架构，否则无法适应现有的大数据存储，同时，对于分布式的文件系统的支撑之后，需要进行实时的流处理，而“传统的数据分析更多的是结构化，数据量是有限的，集中式处理、批量处理，也无法满足需要。”
赛仕软件研究开发（北京）有限公司总经理刘政说，在大数据时代，数据分析的手段是关键，“但是传统的数据分析能力，无法处理这么大量的数据。我们平常分析上千万的数据量的时候，都会花费几十个小时的时间才能得到结果。当你的数据量达到十亿的时候，软件就根本运行不下去，有的时候会花上好几十天，这个速度人们是无法接受的。”
他列举了一些传统的分析技术带来的困惑。比如，由于分析手段的限制，取样时的样本数不够大，不能充分利用所有的数据，无形中破坏了信息的完整性；又比如，受限于分析能力而无法获取复杂问题的答案，受限于时间而不得不采用某项简单的建模技术，同样，也是由于沒有足够的时间来执行多次迭代，你不得不对模型净度进行妥协等等。
刘政说，上世纪50年代，美国飞行员发现，在跟敌人作战的时候通过OODA方法就可以有效地赢得战争，也就是说，“如果你的决策比你的对手快，你就能够占得先机”。
速度在这里被提到了战略高度。对大数据的分析，也同样如此。
品友互动是中国最大的数字广告互联网技术公司，率先在广告技术领域采用大数据研究方法，搭建了多个以Hadoop为基础的云计算平台。品有互动CEO黄晓南在接受《网络导报》记者专访时说，作为国内最大的需求方平台（DSP），品友互动每天处理上百亿的数据量，其DSP平台可以对接广告交易平台（Ad Exchange）进行实时竞价和智能算法,50毫秒内完成响应。
可见，沒有速度，再有价值的大数据也只能是一堆无法流通的钞票。
让大数据来为你做商业决策 黄晓南说，数据挖掘是博大精深的事情，似乎永远也沒有尽头，品友专注于做的无非就是“用用户的行为轨迹来描绘用户的属性，并且在实践的过程中去印证方法的正确性”。不过，在每天都见证数据挖掘会产生实质价值的过程中，她也收获颇丰。黄晓南说，作为大数据的实践者，品友互动的DSP已经成为很多客户的选择，广告投放的效率和效果都得到超过50%的提升。像Volvo汽车、海尔商城等品牌，投放目标人群覆盖地域、人口属性、个人关注和购买倾向四大类，帮助它们实现高效能的广告投放效果。
这个案例有效地支撑了曹宇钦的说法：“在大数据时代，用户投资大数据不仅仅是寻求对海量数据的收集、整理、分析的工具，而是要找到能够将数据与业务相结合，实时帮助决策者分析问题、解决问题，提供最佳决策的支持。”
孙博凯也认为，在大数据时代，必须对数据进行丰富，必须“把你的数据和世界其他地方的数据连接起来”，这样才能产生更多的价值。“首先你要保证它是清洁的、准确的，然后你会发现一些附加数据，与你所要分析的数据相关，你可以把自己的数据和Web数据整合起来，从中获得洞察。”
他举例说，如果你从事销售行业，希望看到自己的业绩表现如何，那么光看自己的销售业绩并不够，还需要看自己公司内部同事的业务如何，你做得比他们好还是比他们差；推而广之，你还必须看看其他的同业公司，不管是竞争对手还是合作伙伴，乃至“看一下全世界的数据，世界经济是加速还是放缓、是软着陆还是硬着陆，这对于你将会产生什么影响等。”
当然，我们现在已经找到了一些方法，初步的或者局部的。比如，SAS高性能分析软件就包括了网格计算、库内分析以及内存分析、可视化分析。甲骨文公司前不久也发布了自己的大数据一体机平台，“把大数据的存储、大数据的处理、大数据的BI展现在一台机器中全部融合进去”。
正如中国移动研究院首席科学家杨景所说：“要做好大数据，让整个供应链都拥有最新的技术，就必须关注大数据的工具，要有工具来支撑大数据时代的协同。最终，基于模型驱动的系统工程所满足的，不是功能需求而是商业需求。”
曾经有人说，国内几大微博巨头尽管有庞大的流量，并且在移动互联网领域布局颇好，但在探索商业模式方面却举步维艰，也许，在不久的将来，当他们在大数据领域有所斩获的时候，事情就会变得相对容易。
传统互联网也产生了很多大数据，但是，移动互联网的蓬勃发展、云计算以及物联网的初步应用，有力地推进了大数据时代的来临，这是毋庸置疑的。
两家公司，有一家公司利用大数据技术而另一家却沒有采用，那么，未来它们的财务状况会出现明显的不同，大数据已经成为了保持企业竞争优势的竞争力。
在大数据时代，用户投资大数据不仅仅是寻求对海量数据的收集、整理、分析的工具，而是要找到能够将数据与业务相结合，实时帮助决策者分析问题、解决问题，提供最佳决策的支持。