论文部分内容阅读
当顾客刚刚跨进百货商场,门口的电脑会自动打招呼,然后根据顾客过去的购物经历推送商品;如果有犯罪企图的人进来,商场安装的能侦察人脑电波的“聪明”的机器人——“先知”可以自动报警……这是在汤姆·克鲁斯主演的科幻片《少数派报告》中的一幕。
虽然这是一部科幻片,但其中描述的场景正在一步步变成现实,而背后的技术原动力就是大数据。实际上,不少行业已经从大数据中受益。比如,不少电商网站开始采用基于Hadoop的商品推荐系统或商品推荐服务。它根据访客的历史交易数据、访客在该网站的浏览数据、在其他合作伙伴网站的浏览信息,以及用户的评论行为来综合评估推荐访客可能感兴趣的产品。这样的场景还有很多,正是有了大数据的分析,我们可以更全面、更准确地了解这个世界,做出更为精准的决策。为此,不少业内人士预言,大数据将引发全球范围内深刻的社会与商业变革。
IT厂商早就注意到了大数据市场的兴起,IBM、Oracle、微软等IT巨头都是大数据市场的积极推动者,它们不仅推出了自己的Hadoop版本,同时,还推出了各种接口和工具来打通自己的传统数据库、数据仓库与Hadoop之间的联系。而BI厂商更是不敢轻视,如数据仓库的技术供应商Teradata甚至专门收购一家从事大数据业务的公司。在大数据市场,存储厂商也是一支非常活跃的生力军,如EMC、HDS等都有大数据解决方案推出,其中EMC走得更远,已经超过数据的存储而把业务延伸到数据的分析领域。值得一提的是,一些厂商还推出了大数据的一体机,作为抢占市场制高点的有力武器。刚刚过去的2012年,我们看到IBM、Oracle都有大数据一体机推出。
展望2013年,随着大数据的应用不断涌现,大数据热仍将持续,更多的企业将会关注甚至使用各种大数据解决方案,市场上也会出现更多的相关产品和方案。不过,从技术发展阶段而言,大数据仍将处于在市场培育期。
这其中最大的挑战包括Hadoop生态系统有待逐步完善,以及大数据人才的缺乏。众多周知,Hadoop并不是一个商业化的产品,而是一个开源软件。它的产品规划以及软件更新都有很大随意性,产品本身也有待于完善。虽然已经有公司(如Cloudera)能提供Hadoop的技术支持,但用户主要的技术支持仍然来自社区。2013年里,技术支持的问题如果不解决,用户对于使用Hadoop仍然会顾虑重重。
另一个问题是大数据相关的人才紧缺。在国外已经有企业开始尝试设立类似“数据科学家”的职位(有的称其为“数据分析师”或者“数据工程师”),与一般商业智能分析师不同,这些专家不仅能找到和提供数据,他们还要使用它进行大量预测。其理想的候选人对分析和市场营销都非常熟悉,此外,最好还能懂数据挖掘、统计甚至人工智能。
当然,无论如何,技术总是不断进步的,我们对技术的掌握也是在不断进步,既然大量的数据已经从互联网、移动设备等各个源头中产生,我们终究会有能力从这座数据金矿中找到有价值的信息。这就是技术的魅力。
虽然这是一部科幻片,但其中描述的场景正在一步步变成现实,而背后的技术原动力就是大数据。实际上,不少行业已经从大数据中受益。比如,不少电商网站开始采用基于Hadoop的商品推荐系统或商品推荐服务。它根据访客的历史交易数据、访客在该网站的浏览数据、在其他合作伙伴网站的浏览信息,以及用户的评论行为来综合评估推荐访客可能感兴趣的产品。这样的场景还有很多,正是有了大数据的分析,我们可以更全面、更准确地了解这个世界,做出更为精准的决策。为此,不少业内人士预言,大数据将引发全球范围内深刻的社会与商业变革。
IT厂商早就注意到了大数据市场的兴起,IBM、Oracle、微软等IT巨头都是大数据市场的积极推动者,它们不仅推出了自己的Hadoop版本,同时,还推出了各种接口和工具来打通自己的传统数据库、数据仓库与Hadoop之间的联系。而BI厂商更是不敢轻视,如数据仓库的技术供应商Teradata甚至专门收购一家从事大数据业务的公司。在大数据市场,存储厂商也是一支非常活跃的生力军,如EMC、HDS等都有大数据解决方案推出,其中EMC走得更远,已经超过数据的存储而把业务延伸到数据的分析领域。值得一提的是,一些厂商还推出了大数据的一体机,作为抢占市场制高点的有力武器。刚刚过去的2012年,我们看到IBM、Oracle都有大数据一体机推出。
展望2013年,随着大数据的应用不断涌现,大数据热仍将持续,更多的企业将会关注甚至使用各种大数据解决方案,市场上也会出现更多的相关产品和方案。不过,从技术发展阶段而言,大数据仍将处于在市场培育期。
这其中最大的挑战包括Hadoop生态系统有待逐步完善,以及大数据人才的缺乏。众多周知,Hadoop并不是一个商业化的产品,而是一个开源软件。它的产品规划以及软件更新都有很大随意性,产品本身也有待于完善。虽然已经有公司(如Cloudera)能提供Hadoop的技术支持,但用户主要的技术支持仍然来自社区。2013年里,技术支持的问题如果不解决,用户对于使用Hadoop仍然会顾虑重重。
另一个问题是大数据相关的人才紧缺。在国外已经有企业开始尝试设立类似“数据科学家”的职位(有的称其为“数据分析师”或者“数据工程师”),与一般商业智能分析师不同,这些专家不仅能找到和提供数据,他们还要使用它进行大量预测。其理想的候选人对分析和市场营销都非常熟悉,此外,最好还能懂数据挖掘、统计甚至人工智能。
当然,无论如何,技术总是不断进步的,我们对技术的掌握也是在不断进步,既然大量的数据已经从互联网、移动设备等各个源头中产生,我们终究会有能力从这座数据金矿中找到有价值的信息。这就是技术的魅力。