神奇的大数据

来源 :新经济导刊 | 被引量 : 0次 | 上传用户:dannychan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  “11·11”购物狂欢节当天,天猫和淘宝共吸引了2.13亿独立用户访问,其中第一分钟就有1000万独立用户加入抢购,当天订单数达到1亿笔,通过支付宝完成的总销售额达到191亿元,是去年的3倍多,创造了中国电商行业日销售的一个新记录,并超过2011年美国“网购星期一”12.5亿美元(约合人民币78亿元)的单日最高销售额。
  这是一组魔咒般的数据,它让网商和消费者为之震惊,让其他电商平台和线下零售艳羡不已,也让身在其中的阿里人倍感意外。
  “这么大的能量,我们都没有想到,但我有一个预感就是,所有人对我说的预测都是错的。当天看完第一个小时的成交后,我跟我的同事说应该能达到160亿,高层瞪了我一眼,你觉得靠谱吗?我说可以的。最终比我的预测还要高。”光棍节当天,一直在数据监测直播室的大数据研究专家、淘宝网商业智能部资深总监车品觉告诉本刊记者。
  如此庞大的访问量和交易量对电商平台和网银系统也是一次巨大的考验,尽管阿里巴巴在技术上和管理上进行了充分准备,并且破天荒地打破了“百花齐放”的主流企业文化,有效发挥了天猫、淘宝和支付宝的协同性,总体保持顺畅,但还是有一家银行的网银系统抵挡不住潮水般交易数据的攻势,而败下阵来。
  数据可以分析历史,也可以观测未来。“双11留给我们一组宝贵的数据。”车品觉说,“它告诉我们许多不经常来的用户都在同一时间涌过来了,这些用户群至少在未来一年内应该去触发他(她)们。以前不活跃的用户在当天活跃了,这些用户看了什么产品?买了什么产品?还对哪些产品感兴趣?通过这些丰富的数据,可以发现用户的偏向。”
  何为大
  光棍节已让我们领教了电商大数据的潜力和火爆,接下来再带你看一下更加壮观的场景:
  一秒钟内,互联网产生的数据量,比20年前整个互联网储存的数据还多;一分钟内,微博、Twitter上新发布的数据量超过10万,社交网站Facebook的浏览量超过600万;两分钟内,全球上传的照片数量超过19世纪照片数量总和;一天内,百度要处理几十PB数据;一个月内,Google处理的数据量超过400PB;2011年,全球被创建和复制的数据总量远远超过人类有史以来所有印刷材料的数据总量……
  当你把想要去的目的地输入手机地图或互联网地图,或者开着车对着“语音助手”说:“我要在附近找一家素食餐厅”,短短一两秒就能让你得到满意的答案。其背后向您提供服务所涉及到的导航定位、资料检索、存取计算、数据交换等一系列动作是何等地复杂。
  这就是“大数据”,一个不知不觉被数据包裹和渗透的时代。每个人都是数据的创造者和传播者,每个人也是数据的接收者和分享者。手机、平板电脑、桌面电脑、数字电视、智能电视、数字眼镜、传感器、卫星定位系统等终端设备,如雨后春笋,遍布各个角落,海量数据就这样源源不断地喷薄而出……
  中国工程院院士李国杰用4个“V”来描述大数据的特征:体量浩大(Volume)、类型复杂(Variety)、生成迅速(Velocity)、价值巨大但利用密度低(Value)。
  互联网和移动互联网上产生的数据,如文本、视频、图片、动漫、地理位置等,大多是非结构信息,据预测,到2012年末非结构化数据将达到整个数据量的75%以上。
  涂子沛在《大数据》一书中认为,“大数据”之“大”,不仅仅在于“容量之大”,更大的意义在于,通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值,带来“大知识”、“大科技”、“大利润”和“大发展”。
  “如果每天有一两百个G以上的数据,就可以算是一个大数据公司了。”秒针系统创始人、首席技术官吴明辉表示,面对海量数据,传统的数据库软件Oracle等,已无法进行处理。目前新的数据库结构又不像传统的数据库软件那么灵活。“传统的Oracle好比自行车,大街小巷都可以骑,但它很慢;新的数据库结构相当于高铁,它只能沿着轨道走,但它很快,承载的量也很大。”
  尽管美国的大数据应用已如水银泻地,无孔不入,但美国GE公司的人这样抱怨,“我们的数据仅整理清楚都需要3年,3年后再玩数据已经落伍了,更别说挖掘价值了。越老的企业,玩数据的难度越大。”
  车品觉认为,用数据之前,需要先会“养数据”,但是把数据收集起来,不代表你在养,只有知道如何养大它,那才叫养。假如今天下午一点多给你两样东西:面包和五块钱,由于你吃过饭了,可能五块钱对你的吸引力更大。这个例子告诉我们人的决定会受到当时环境的影响。所以,收集数据的时候,如果不把环境数据收集过来,这个数据过几年后就没有价值了,而且很难研究。十几年后,再看“11·11”的191亿元的数据,如果不了解促销五折的背景,人们会说,不可能,那天可能有异常。
  而且,车品觉表示,数据会断裂的,即过去是这个意思,未来可能不是这个意思;过去可以这样用,未来不一定能这样用。如果不用数据,只是养它,两年之后就会断裂,这些数据就是一潭死水。
  有多神
  2012年美国总统大选虽然尘埃落定,但与历届选举不同。此次大选伊始,美国总统的竞选团队就纷纷利用数据分析方法来寻找和锁定潜在的己方选民,并使用最前沿的数字化策略定位拉拢那些中间派选民。整个过程,大数据应用的威力可谓发挥得淋漓尽致。最终,奥巴马团队技高一筹,赢得连任。
  全球零售巨头沃尔玛,是最早一批利用数据赚钱的企业。早在1969年,沃尔玛就开始利用计算机来跟踪存货,通过分析数据来挖掘销售“秘籍”。最经典的案例莫过于“啤酒+尿布”的销售。沃尔玛的研究员通过对消费者的行为数据进行分析,得到了“男性顾客会在购买尿布的同时,购买啤酒来犒赏自己”的顾客消费偏好信息。最终,沃尔玛的“啤酒+尿布”捆绑式销售取得了两种商品的销售双赢。
  今年光棍节淘宝和天猫之所以牛气冲天,一个重要因素是全场5折促销的“大红包”。而美国公司早就利用大数据为用户发红包,国内的B2C公司还没有这样做。美国的电商公司进行过用户问卷调查:你喜欢这个企业吗?将数据收集回来发现,最喜欢的人对这个企业的交易贡献不是最大的。所以,需要定位这个人的回头率和价值,就知道如果失去了他(她)会损失多少。   英国有个教授做了一个数据试验,把好运和不好运的人分为两类,然后对这两类人进行跟踪测试,发现有一个元素可以区分出这两类人,那就是笑。好运的人每天都在笑,不好运的人很少笑。
  物以类聚,人以群分。淘宝的数据科学家也用这种聚类法,计算一个网店如何做到小而美。首先对用户进行线上和线下的问卷调查:请告诉淘宝的哪些网店是小而美?通过数据分析发现,小而美的店,网上用户评价不一定高。而且有一个数据太聪明了,小而美的店,熟客的“客单价”(指每一个顾客平均购买商品的金额,客单价=销售额÷顾客数)不一定高,因为熟客率高对新人吸引力不够,不一定做成小而美。原来这是一个变种的钱包分享——小而美的店需要一个很好的连接关系,熟客经常逛这个网店,而且对网店的收入贡献是稳定的。淘宝还对小而美开发了一个“美指数”,这个指数可以屏蔽或过滤掉网店的作弊数据。
  一组数据能让人们做一个更好的决定的时候,这组数据可以称之为聪明的数据连接。美国玩大数据的人都会谈到“OODA”,即观察Observe,定位Orient,决定Decision,行动Act。这是美国的一个空军教练发明的,为了减少战斗中的伤亡。
  企业经过观察拿到数据,然后对数据进行定位,继而做出决定和行动。这是数据挖掘法。最有意思的是挖掘购物性别,某人在淘宝网上注册的性别是男,但购物的时候买的都是女性的东西,这可以推测出他的一部分购物行为是为老婆买的。这些数据表明,在营销的时候,这个账号虽然是女的,但不代表不能把男的商品推荐给她。还有,通过一些行为数据很容易判断出某个人的性别,比如购买母婴产品的用户基本是女的,而且结婚了,所以她就会为丈夫和孩子买东西。这时候,就要偏向于家庭营销,不能太注重个性化。
  企业要经营一个用户,本质上要看这个用户有没有钱,爱不爱这个企业,用户所处的生命周期:毕业了吗?有男(女)朋友吗?结婚了吗?有孩子吗?根据生命周期来估计用户需要的产品和偏好。通过大数据就可以推断出这三个方面。
  车品觉强调,大数据最重要的不是知道你的财富和生命周期,而是有多少稳定数据,如果有20%的稳定数据,完全可能猜到其余80%的未知数据。例如知道身份证号就可以了解到你的出生年月日和籍贯,只要寄过东西就可以知道你所处的地区,如果你在学校又是20岁左右,那你基本就是大学生,等等。仅有行为数据是不行的,因为行为数据飘忽不定。
  专家认为,数据科学时代,不能有什么数据就用什么,要主动地去寻找原材料,而且还要把原材料提炼得更好一些。比如,一个人在某个网站的闲逛指数和购买指数,需要迅速计算出来,这个很重要。因为绝大多数电子商务网站都是设计给购买的人,而不是给逛的人。蘑菇街之所以能成功,是因为它专为逛而设计。今天的电子商务网站一定要能区分出用户的两种行为,这样,逛时让用户看更多商品,买时进行精准推荐,让用户赶紧买单走人,提高购物效率。
  中国的企业与亚马逊相比,在大数据管理和应用方面还有较大差距,前者以结果导向数据为主,后者的数据大部分是以客户为中心。例如,招商银行在今天下午2点钟,平均有20人排队,这是业务导向。如果进入到招商银行的每个客户,平均需要2分钟能等上服务,这是以客户为中心的指标。
  所以,中国的企业要努力把数据指标转为以客户为中心。B2C双边市场比较简单,以消费者为中心。而电商平台淘宝是一个三边市场,这样客户就比较多,有销售者、合作方、消费者,三边市场很复杂。通常以消费者来考核销售者,用销售者来观察消费者。
  车品觉告诉记者,采用网络分析法研究关联数据对淘宝等平台类公司很重要,可以知道一个类目是不是存在过度竞争。如果竞争很密集,关联销售者的客单价都会下降,重复购买率就变低,可以知道恶性循环来了。
  数据矿
  大数据将是下一个社会发展阶段的石油和金矿,已成为业内人士的共识。但数据如果不加以利用,那就是闲置的资源,不仅占用更多虚拟空间,而且影响效率。所以,如何挖掘开发出其中的价值,已成为投资界、企业界以及政府和科研部门普遍关注的问题。
  中国工程院院士李国杰对大数据的市场前景价值充满信心。他认为,目前人们开发和利用的价值还只是冰山一角。大数据的兴起与互联网、物联网的蓬勃发展有很大关系,根本原因是经济利益驱动,IBM、亚马逊、Google、Facebook等国际知名企业是大数据的主要推动者,国内的大数据代表性企业是百度、腾讯、阿里巴巴。
  “大数据就是金矿,谁挖掘得好就可以成为竞争壁垒。而今天最好的大数据都在大公司。我的预测:互联网大公司大部分会学会驾驭大数据,越做越强;而大部分非互联网公司(电信、银行、保险)虽拥有大数据,却不知其珍贵,或用之不当。” 创新工场董事长兼首席执行官李开复在微博中如是说。
  作为中国大数据的先行者,阿里巴巴集团主席马云对大数据格外重视。他在一次公开演讲中表示,“阿里积累的大量数据可以告诉我们,世界经济在发生什么,中国经济在发生什么。我们可以给宏观经济以指导,数据将会影响世界。”阿里不想占有数据,数据不用来分享,就是一堆数字,没有一点意义。为了自己和下一代商人,必须思考这些问题,并且为之而努力。
  目前,国内大数据领头羊阿里巴巴、腾讯、百度都在大数据的技术、管理与应用上进行探索,努力缩小与“硅谷”的大数据公司的差距。百度虽然拥有庞大数据,但数据缺少身份信息,在开掘上需要另辟蹊径;腾讯拥有大数据三大杀手锏:PC端的QQ和Qzone,移动端的微信,如果开发利用好,能量惊人,不过目前动作有点慢;在马云的重视下,阿里巴巴提出大数据战略,发挥电商平台的集群优势,内外双管齐下,打造数据平台和数据产品,实现数据资源的最大共享。
  其他电商网站京东、社交网站人人网,也利用自己的数据资源做用户行为分析。此外,一些新兴的大数据创业公司蓬勃崛起,如广告营销领域的秒针系统,帮助客户分析广告投入是否有效;提供工具系统的公司友友系统;提供数据存储和销售的天云科技;提供地理信息云服务的超图软件等。   “大数据时代,企业关注的重点将转向数据。”李国杰表示,计算机行业从追求计算速度转变为大数据处理能力,软件从编程为主转变为以数据为中心,云计算进入以分析即服务(AaaS)为主要标志的Cloud2.0时代。生物制药、新材料研制生产的流程会发生革命性的变化。“未来将形成数据服务、数据探矿、数据化学、数据材料、数据制药等一系列战略性新兴产业。”传统信息技术企业,如华为、联想、浪潮等都在顺应大数据需要而转型。华为本来是一家通信企业,现在也在开拓数字医疗市场。
  中国每年的就诊患者是世界上最多的,如果对这些医疗数据进行系统的分析,对治疗疑难病症,以及开发新药都将产生积极的影响。据麦肯锡咨询公司的研究,“大数据”技术可能为美国的医疗保健业每年创造3000亿美元的价值,如此大的市场在中国同样不可小觑。
  未来,线下零售将是线上零售的最大竞争对手。比如,京东和天猫,两个对手旁边,还有更大的潜在竞争对手是线下,如沃尔玛、家乐福、苏宁、国美、物美。因为以前线上零售占线下零售的份额非常小,如同小石子扔到大海里,但如果比例逐渐扩大,就会产生市场冲突了。
  例如,到移动网站充值缴费的人附近10公里有没有营业厅,有和没有,差异挺大。另有企业做过试验,对住在沃尔玛旁边的人做广告,基本不起作用,因为这个竟争对手太庞大了。
  所以,为电商喝彩的同时,对线下零售的竞争实力不可低估。不过,挖掘线下交易数据的价值,需要下很大功夫,因为许多数据不知道顾客的身份。如果顾客都采用经过注册的会员卡交易,那情形就不一样了。
  移动互联网将是一个数据金矿,运营商可以拿到大量用户数据,包括生活半径数据。如果能计算出客户一直都在这个生活圈,那么这个圈里分布的商店、饭店及娱乐设施都可以知道。这样对于线上和线下营销就具有很大参考价值。
  对于电商是否可以与银行、电信开展数据合作,车品觉认为,“与银行、运营商开发数据产品的时代有点遥远,涉及法律、政策、数据安全等问题,以及公众是否可以接受这些数据产品。美国对个人隐私很在意,但对数据产品可以接受。”
  以Facebook为代表的社交网站,数据量比电子商务网站还要丰富,如果找到挖掘和提炼的钥匙,SNS将产生巨大价值。
  大数据浪潮,不单单为企业带来商业价值,也提供了千载难逢的创业和就业机会。新兴的创业公司通过出售数据产品和服务,有针对性地提供技术解决方案,把大数据赋予了商品特性。例如,美国的Cloudera公司和Factual公司,中国的秒针系统、百分点、友友系统、天云科技等。它们如星星之火,有助于大数据市场的建立和大数据商业的繁荣。
  除了创业,大量的就业机会也随之产生。作为新兴产业,大数据人才的匮乏,国内外大同小异,这无疑为年轻人提供了驰骋的舞台。数据工程师、数据产品经理、数据分析师、数据咨询师、首席数据官等,各种不同的岗位为你招手。当然,最顶尖的也是21世纪“最性感的职业”是数据科学家。这到底是个什么样的职业?谁才能如愿以偿?
  车品觉告诉记者,现在淘宝培养了5个数据科学家,都是博士,属于尖端人才,具备敏锐的商业感觉和出色的专业技能,对数据的严谨性超出常人的想象。做数据挖掘很容易,但达到数据科学家的水平很难。
  “数据科学家”是交叉学科产生的顶级数据人才,既懂数学和统计,也懂编程和业务,能够不断地探索、创新和预测未来。秒针也在培养“数据科学家”,“已经有几个了,但整个行业里太缺乏了。”吴明辉表示。
  成功的数据科学家应该具备什么素质和能力呢?哈佛商学院客座教授、德勤分析部门高级顾问托马斯达文波特和格雷洛克风投公司数据科学家D.J.帕蒂尔认为,应该是数据黑客、分析师、传播者和靠谱顾问的综合体,这样的组合可谓极其强大,同时也极其罕见。
  有人说,数据是西方人的专利,东方人不适合玩数据,因为中国的文化是“差不多先生”。对于东西方数据的差异,经常与美国数据专家和行业人士交流的车品觉表示,东方的数据滋味好,有全局观,喜欢通过现象看本质,通过本质推演现象。西方是追着现象跑,喜欢把数据进行逐一分解,但看出的问题不是全部。不过,中国也要克服“马马虎虎”的缺点。
  据美国权威信息技术研究与咨询公司Gartner最新发布的《2012-2013年技术曲线成熟度报告》指出,大数据成为市场的主流产品需要2~5年。
其他文献
能源危机解决方案    如何战胜能源危机?节约必不可少,寻找替代能源更为重要而大力发展清洁煤电、太阳能、风能、水电、生物质能、核能等,都是其最有效的解决方案。  时值夏季用电高峰,往日行政令文“热衷”的“拉闸限电”、“空调26度”等词汇却迟迟未能出现,不知不觉之间,秋老虎又悄然而至。  与以往各发电企业满负荷运转更加针锋相对的是:一些在建的大型水电被果断叫停,而许多已经投产的小火电也相继被悬崖勒马
期刊
专访南昌市政府副秘书长陈武  作为新兴的会展城市,南昌会展业近年来蓬勃发展,已初显会展城市的魅力,随着中部崛起战略实施和南昌“打造会展名城”目标的提出,培育及打造特色会展将进一步提升南昌会展业的核心竞争力。    南昌市政府副秘书长陈武是国内会展界的风云人物,从事会展及重大活动十余年,有着丰富的会展及大型活动的组织、策划经验。近年来,带领着会展战线的同仁,走出了一条具有南昌特色的会展经济发展之路,
期刊
【调研中国:多轮驱动的新经济增长极】之九  策 划 本刊调研部  统 筹 朱敏  执 笔 杨 剑 却 秦  研究支持国务院发展研究中心  除了“英雄城”  这样的传统美誉之外。  南昌,史上江南昌盛之地,  实在太需要一张更市场、  更现代的城市名片。  当国务院通过中部崛起规划,  当江西大力建设鄱阳湖生态经济区,  当金鸡百花电影节隆重度过18岁生日,  当低碳经济的机遇扑面而来,  南
期刊
国进民退的喜与忧在金融危机的背景下,非均衡发展、非市场推动、非对称;中击直接导致了“国进民退”现象的发生。这是新国企竞争力提升的体现,还是部分民企经营观念的进化?    确切地说,本期“特别报道”的主题是在饭桌上最终敲定的。  由北京交通大学中国企业兼并重组研究中心副主任张金鑫做东,邀请到七八名来自海峡两岸的并购重组专家、学者,他们中:有的曾经挂职于国资委,有的参与过著名国企的兼并重组案例,有的现
期刊
本刊执行总编朱敏对话经济学家夏斌:    在中国金融界,夏斌是个有故事的人。自1993年出任深圳证券交易所的首任总经理之后,内地股市的半壁江山,就是他一手撑起的。几乎所有写夏斌的文章,写到他的风云之处时,都不会吝惜笔墨。央视评选“中国金融人物”时,更以“中国金融政策研究第一人,中国金融業的诤臣”作为其颁奖词,这不像是简单的溢美之辞。  虽说“好汉不提当年之勇”,但从近三十年的改革开放史来看,游刃于
期刊
本期《新经济研究》以案例研究的方法。对后动者进入市场创建竞争优势的途径进行分析,研究后动者的优势来源和成长战略。研究表明,后动者在晚进入市场的时间情况下。可以通过低成本学习、攫取成熟市场更多的信息、吸取市场先动者的错误教训来化被动为主动,并进一步通过创新与差异化的成长战略以实现竞争优势;另外。后动品牌由于没有历史包袱,往往更容易捕捉新的消费需求或开创新的竞争方式。更易采取创新与差异化的营销战略获得
期刊
自从将“低碳”当做一门事业,碳足迹咨询平台总经理门小瑜就一直在忙碌,不论是碳足迹咨询平台的大本营深圳,还是“低碳思想力”新锐的北京、低碳先锋之地南昌,都有他和团队的身影。  近日,他代表自己的团队接受了《新经济导刊》的专访。在专访中,门小瑜并没有回避低碳舆论里那些炒作氛围,似乎已决定用特有的平静和耐心,推动和等待这个领域回归本真。    低碳意识需正面引导    《新经济导刊》:近年来,诸如“环保
期刊
世界经济处在动荡和调整之中,对中国的发展而言,挑战与机遇并存。    3月21日,中共中央委员、国务院发展研究中心主任张玉台在2010年中国发展高层论坛上强调:如果说2009年是新世纪以来中国经济发展最困难的一年,那么2010年则可能是最复杂的一年。  他呼吁,拓展中国与世界经济合作,共同建设一个均衡、公正、可持续发展的全球经济体系。  在这次国际金融危机中,中国不仅短期经济增长受到了巨大的冲击,
期刊
朱敏  国务院发展研究中心  《新经济导刊》执行总编  陈志武  美国耶鲁大学管理学院  金融经济学终身教授  1962年生于湖南茶陵。1990年获耶鲁大学金融经济学博士学位,先后在威斯康辛大学、俄亥俄州立大学、美国耶鲁大学等世界一流大学任教,并被北京大学、清华大学等国内著名学术机构聘为特聘教授或访问教授。世界金融学和金融资产定价铤域最具有创造力和最活跃的学者之一。获得过美国默顿·米勒(诺贝尔经济
期刊
本刊执行总编朱敏对话经济学家刘伟:    “中国经济是两个车轮在赛跑!”北大未名湖畔,阳光灿烂的上午,身为北京大学校长助理、经济学院院长的博士生导师刘伟,为金融研究班的韩忠亮教授、朱敏总编,上了一堂别开生面的经济形势研讨课。  谈到宏观调控政策的侧重点时,刘伟教授清晰地指出:“近期主要是反衰退、中期主要是反滞胀”;论及人民币自由化和国际化,则提醒勿因危机而因噎废食,“难道更加封闭就好吗?”  这位
期刊