论文部分内容阅读
阿里巴巴公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信的企业,从而无需担保来放贷,目前已放贷300多亿元,坏账率仅0.3%,大大低于商业银行。Google把5000万条美国人最频繁检索的词条和美国疾控中心在2003—2008年间流感传播期的数据进行了比较,在2009年出现甲型H1N1流感爆发的几周前,Google就给出了预测。
实际上,你的每一次点击,每一次评论,每一个视频点播,都已成为电脑进行记录和分析的“行为指纹”,所有你潜在的、真实的需求都不再是秘密,也许互联网将比你还要了解你。
经过大数据改造的互联网不再是一个冷冰冰的系统,而是推动业务发展,挖掘客户内心需求的真正推进剂,大数据在满足需求的同时将催生出更多的新需求。正如哈佛大学社会学教授加里·金所说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
毫无疑问,这不是数字的小时代,而是所有人的大时代!
发现“上帝粒子”的背后
近年,云计算、云存储、大数据……云服务相关词汇媒体曝光率骤增,凡是有实力的企业纷纷布局“云存储”。IDC的报告显示,在未来4年内,全球云服务市场规模将增长到442亿美元,其中云存储的市场比例将从目前的9%增长到14%,其規模将接近62亿美元,存储市场是增长最快的云计算服务。
2012年7月4日,欧洲核子研究中心(CERN)宣布发现了“上帝粒子”的存在。在这个让霍金都赌输了的激动人心的发现背后,有无数科学家多年来孜孜不倦的探索,还有难以想象的海量科研数据的分析研究,这些都离不开数据存储系统的支撑。
作为世界上最大的粒子物理研究组织,CERN为满足高能物理学研究的需要,设立了处理能力很强的大型网格计算中心,协助实验数据的分析。为此CERN和全球领先的ICT公司合作,组建了具有合作伙伴关系的独立组织OpenLAB(开放实验室)。
OpenLAB的任务是推动尖端IT解决方案的发展,并将其应用在世界范围内的大型强子对撞机系统中。近年来,持续快速增长的海量科研数据对CERN的存储系统在可扩展性、可靠性等方面提出了严峻的挑战。对此,成为CERN OpenLAB合作伙伴的华为公司提供了海量云存储系统(Universal Distributed Storage),与CERN一起探索如何迎接未来EB级数据存储的挑战(1024个MB是1个GB,1024个GB是1个TB,1024个TB是1个PB,1024个PB是1个EB,1024个EB是1个ZB。举个例子来说,欧洲物理对撞机每年会产生28PB的数据规模)。
正是因为海量云存储系统表现出卓越的读写性能和极佳的可扩展性,以及智能的自我修复功能,帮助CERN能够轻松应对未来EB级数据量存储和处理的挑战,对人类探索宇宙起源及未来,提供新的契机。“上帝粒子”被认为是人类了解宇宙的关键。物理学家认为“上帝粒子”给予了组成原子的粒子质量。倘若没有质量,这些粒子将会以光速穿越宇宙,而无法连接在一起形成原子,后者是构成宇宙万物的基本单位,大至行星小至人类。进一步讲,“上帝粒子”的发现将有助于解释恒星、行星和人类存在的原因,因此被认为将是现代物理学最重大的发现之一。
“桌面云”绽放
什么是云计算?
有人认为云计算无所不能,甚至能够解决全球的饥饿问题。
美国市场研究公司Gartner曾经评选出2011年对多数组织最具战略意义的十大技术和趋势,云计算高居榜首。由此可见,云计算将给市场带来巨大变革,是时代发展的必然趋势,而并非一场过眼烟“云”。
云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。在云计算模式下,用户的计算机会变得十分简单,不再需要内存、硬盘和各种应用软件,就可以满足我们的需求,因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器”和“主机”的电线无限长,从而可以把显示器放在使用者的面前,而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络,把“主机”变成云服务提供商的服务器集群。
2013年8月底,记者在上海盲童学校见证了一朵绽放的“桌面云”——这是华为为盲童学校的孩子们专门定制的云计算平台。所有的终端设备简化成了一台显示器、一个键盘和一个鼠标,服务器也不过一台影碟机大小。学校的盲童孩子只需戴上耳机、在语音软件的提示下,就能轻松自如地上网、学习、聊天、购物。
最方便的地方还在于每个盲童孩子都拥有一个专属账号,通过这个账号,孩子们可以对自己的桌面进行个性化设置,比方说特大号字体,黑底白字或者白底黑字,设定保存之后,无论是在哪台电脑、又或者在Pad以及手机上,孩子们只要以这个账号登录,都能随时随地地享有自己的个性化操作环境。
如果说以前是人跟着机器跑的话,那么“桌面云”就真正实现了机器跟着人跑。千叶的裸眼视力只有0.01,即便是用Pad,也必须贴到眼皮底下才能看清楚屏幕上的字,为了查找资料,千叶常常弓腰驼背完成虾米状,十几分钟下来就腰酸背痛,眼睛酸了。现在登录“桌面云”,每个字都有半个屏幕那么大,千叶终于可以抬头挺胸地操作Pad了。“总之,真的是很方便,很方便。”
校园网内的计算机病毒的防控一直是一个十分棘手的问题。尤其在多媒体教室及计算机实验室。一台机器中毒,很快就会传遍所有机器。杀毒软件授权使用费用对学校来说也是一笔不小的开支,但对病毒仍不能有效地防控。而在华为提供的云平台上,华为提供商拥有先进技术和专业团队来负责这些资源的安全维护工作,师生们只需通过网络就能访问自己的数据。本地不再存储任何数据,因而不用担心病毒入侵造成的破坏。所以,“云计算在学校的应用既省去了学校在信息安全方面的开支,又确保了学校师生的信息安全”。盲童学校总务长胡老师大赞云计算给学校教学管理带来的巨大变化。 华东师范大学商学院徐鑫教授也有相同的感受。“基于统一的协作云管理平台,利用多媒体教室的计算机管理,使得日常教学科研变得更为便捷、高效。而eClass平台可以支撑远程互动教学,实现云中教学、互动课堂、在线答疑等;特别值得一提的是统一通信功能。它支持多终端接入,如PC、Pad、智能手机等,并融合了语音、数据、视频等业务,使华师大商学院实现了即时消息、IP语音、远程会议、远程培训、移动办公等全方位应用;而在虚拟化的服务器上,也已经部署了20余套软件,既包括各类企业专用软件,也包括大量的实训教学模拟软件,极大地丰富了实训教学。”
云计算平台对于学生而言,“化被动为主动”探索式学习成为主流,“让学习无处不在”,“理论走向实际”。对于老师而言,云中教学、云中协作、在线答疑等正改变着传统的教学和科研模式,并实现了跨区域教学、优秀教师资源共享,增强了教师间的沟通交流与协作。
桌面云解决方案除了能够实现计算、存储资源的集中共享,云数据中心的统一调度管理,还能解决传统PC带来的信息安全、办公效率、运维管理等诸多问题,对政府、企业具有重大意义。
为了解决研发办公信息的安全性问题,提高IT管理维护效率,降低办公系统能耗,同时对员工的办公环境也带来了显著改善,华为2009年开始试验部署桌面云,支持研发、测试、办公、会议室等各种场景,2010年在华为上海研究所完成1万用户的部署,之后全面推广到全球机构。华为桌面云是全球最大规模的的办公桌面云,目前支持10万用户同时使用。
桌面云的实施效果非常惊人。新人入职申领办公设备从原来的一天/人次,提高到10分钟/人次,节省了98%的费用;维护效率从小于100台/人提高到大于1000台/人,整整提高了9倍。每台机器的能耗更是从253瓦下降到66瓦。设备的更换频率也从原来的3年提高到10年以上,仅此一项就可以一年节约将近8000万的费用。
数据爆炸
进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。正如《纽约时报》2012年2月的一篇专栏文章中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
Google前雇员创办Climate公司,从美国气象局等获得几十年的天气数据,并与各地的土壤状况及历年农作物产量关联,向有需求的农场提供明年产量预测,就是一则典型的大数据应用案例。正是因为有了足够大量的天气数据做模型测算,Climate公司底气十足地表示——如果出现未能预测的恶劣天气损坏庄稼,将及时赔付农户。
中国工程院邬贺铨院士指出,2011年全球的数据规模为1.8ZB,信息足以填满575亿个32GB的苹果iPad,这些iPad可以在中国建起两座长城。2020年全球数据将达到40ZB,如果把这些数据全部存入现在的蓝光光盘,这些光盘的重量将相当于424艘尼米兹级航母!
每时每刻,企业内IT系统在产生各式各样的数据;分分秒秒,互联网上浪涌般的信息将一个个企业淹没或推高。面对这些持续激增的海量数据信息,现今大部分企业所能做的至多是被动地将数据短暂存储,已采用近30年的企业传统数据处理架构对这些海量信息几乎无能为力。如何让这些繁杂无序的数据产生价值、而不只是空耗成本?如何让企业轻松驾驭这些海量数据信息来创新、快速洞悉商机?是现今企业的迫切需求。
一个流传甚广的案例则是美国零售企业好市多(Costco)接到了一位母亲的投诉:“我的女儿才16岁,你们却向她推销孕妇类的产品。”
结果她16岁的女儿确实怀孕了。为什么卖货的商场,却能比朝夕相处的母亲,更早知道女儿的孕事?原来,发现自己怀孕之后,16岁的她不敢告诉母亲,只能时常在网上浏览一些和怀孕相关的网站,搜寻一些孕妇要用的东西。这些浏览行为会被当做数据记录下来,Costco的数据分析团队据此进行了精确的商品促销定位。
“除了存在那里,大数据最终还是要给用户或数据的拥有者带来价值。”华为中国区副总裁胡忠华对记者表示,对于如何从数据中发现价值,业界有很多技术,其中最主要的是以Hadoop为基础建立的一整套分析体系。
截至目前,无论是英特尔、IBM、EMC这样的基础架构厂商,还是微软、SAP、甲骨文这样的应用软件厂商,都推出了支持Hadoop或者基于Hadoop的产品线,以应对市场对于大数据的需求。
据悉华为将在今年的HCC上正式发布企业级大数据分析平台FusionInsight,旨在帮助企业快速构建海量数据信息处理系统,通过对企业内部和外部的巨量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。
华为FusionInsight大数据平台,以双引擎的处理为核心,包括海量数据引擎FusinInsight Hadoop和实时数据处理引擎FusionInsight Streaming,并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求打造了高可靠、高安全、易使用的OM系統和建模中间件,让企业可以更快、更准、更稳地从各类繁杂无序的海量数据中发现价值。FusionInsight软件平台可以运行在标准的x86服务器集群上,也可以运行在提供HDFS接口的集群NAS上,企业可以根据自己的需要进行任意搭配。
通过大数据分析平台,我们可以想象,通过遍布各地的电子眼和监控摄像头,警务系统可以基于大数据识别一些危险的人或危险的行为,发现苗头进行预警。
再如,现在几乎没有人可以离开手机,而手机信号的大数据使用,未来甚至可以用于控制交通流量,通过车上的GPS和手机,当交通进入拥堵状态,就通过手机提示你进入某个路段要收费,如果执意进入,费用就从手机上直接自动收取了,这就避免了现在在各个路口设卡刷卡所带来的麻烦。 当然,大数据的应用也不都是那么美妙,新浪微博和阿里联姻之后,就闹出一个经典促销的段子——
一个微博网友听说淘宝上有棺材包邮的信息,就试着搜了一下“棺材”,结果还真有!!还是檀木的!接下来见证奇迹的时刻到了,网友在自己的微博上发现了各种各样、五花八门的骨灰盒、寿衣、墓地之类的广告信息,而且一连推送了一个月……
苦不堪言的网友只好@微博小秘书——我错了!!!!我之前看微博说淘宝大部分棺材都包邮,我无聊得蛋疼就真的去淘宝看了一下还真的很多都包邮!但是,新浪微博你!用不着一个月来在热门商品推荐天天给我推荐棺材!寿衣!骨灰盒!好吗!我不需要!好吗!我只是无聊搜了搜!给次机会我改错好吗!!!
当然,这样的乌龙事件应该随着数据应用的深化而逐渐减少。只是我们在享受越来越精准的服务同时会不会感到隐私越来越少了呢?也许在互联网上,我们从来都是透明人。
云计算
“云计算”是将所有的计算资源集中起来,并由软件实现自动管理,无需人为参与。企业只需要定制相应的服务,由云服务商或云端提供需要的基础架构、服务、软硬件资源等。
利用云计算企业可以节约成本,不用投资购买昂贵的硬件设备,无需负担频繁的维护与升级费用,也不需要建立自己的数据中心、大型机房、服务器中心等,并相应减少软硬件的运行维护费用和IT人员的实施费。此外,云计算可以轻松实现不同设备间的数据与应用共享。與传统的应用平台相比,云计算平台的优点在于强大的计算能力、存储能力、多样化的服务以及高性价比。
目前,云计算的主要服务形式有软件即服务SaaS(Software as a Service)、平台即服务PaaS(Platform as a Service)、基础设施服务IaaS(Infrastructure as a Service)三种形式。
SaaS,服务提供商将应用软件统一部署在自己的服务器上,用户根据需求通过互联网向厂商订购应用软件服务,服务提供商根据客户所订软件的数量、时间的长短等因素收费,并且通过浏览器向客户提供软件的模式。这种模式下,客户不再像传统模式那样花费大量资金在硬件、软件、维护人员,只需要支出一定的租赁服务费用,通过互联网就可以享受到相应的硬件、软件和维护服务,这是网络应用最具效益的营运模式。
PaaS,把开发环境作为一种服务来提供。这是一种分布式平台服务,厂商提供开发环境、服务器平台、硬件资源等服务给客户,用户在其平台基础上定制开发自己的应用程序并通过其服务器和互联网传递给其他客户。
IaaS,即把厂商的由多台服务器组成的“云端”基础设施,作为计量服务提供给客户。它将内存、I/O设备、存储和计算能力整合成一个虚拟的资源池为整个业界提供所需要的存储资源和虚拟化服务器等服务。这是一种托管型硬件方式,用户付费使用厂商的硬件设施。
实际上,你的每一次点击,每一次评论,每一个视频点播,都已成为电脑进行记录和分析的“行为指纹”,所有你潜在的、真实的需求都不再是秘密,也许互联网将比你还要了解你。
经过大数据改造的互联网不再是一个冷冰冰的系统,而是推动业务发展,挖掘客户内心需求的真正推进剂,大数据在满足需求的同时将催生出更多的新需求。正如哈佛大学社会学教授加里·金所说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
毫无疑问,这不是数字的小时代,而是所有人的大时代!
发现“上帝粒子”的背后
近年,云计算、云存储、大数据……云服务相关词汇媒体曝光率骤增,凡是有实力的企业纷纷布局“云存储”。IDC的报告显示,在未来4年内,全球云服务市场规模将增长到442亿美元,其中云存储的市场比例将从目前的9%增长到14%,其規模将接近62亿美元,存储市场是增长最快的云计算服务。
2012年7月4日,欧洲核子研究中心(CERN)宣布发现了“上帝粒子”的存在。在这个让霍金都赌输了的激动人心的发现背后,有无数科学家多年来孜孜不倦的探索,还有难以想象的海量科研数据的分析研究,这些都离不开数据存储系统的支撑。
作为世界上最大的粒子物理研究组织,CERN为满足高能物理学研究的需要,设立了处理能力很强的大型网格计算中心,协助实验数据的分析。为此CERN和全球领先的ICT公司合作,组建了具有合作伙伴关系的独立组织OpenLAB(开放实验室)。
OpenLAB的任务是推动尖端IT解决方案的发展,并将其应用在世界范围内的大型强子对撞机系统中。近年来,持续快速增长的海量科研数据对CERN的存储系统在可扩展性、可靠性等方面提出了严峻的挑战。对此,成为CERN OpenLAB合作伙伴的华为公司提供了海量云存储系统(Universal Distributed Storage),与CERN一起探索如何迎接未来EB级数据存储的挑战(1024个MB是1个GB,1024个GB是1个TB,1024个TB是1个PB,1024个PB是1个EB,1024个EB是1个ZB。举个例子来说,欧洲物理对撞机每年会产生28PB的数据规模)。
正是因为海量云存储系统表现出卓越的读写性能和极佳的可扩展性,以及智能的自我修复功能,帮助CERN能够轻松应对未来EB级数据量存储和处理的挑战,对人类探索宇宙起源及未来,提供新的契机。“上帝粒子”被认为是人类了解宇宙的关键。物理学家认为“上帝粒子”给予了组成原子的粒子质量。倘若没有质量,这些粒子将会以光速穿越宇宙,而无法连接在一起形成原子,后者是构成宇宙万物的基本单位,大至行星小至人类。进一步讲,“上帝粒子”的发现将有助于解释恒星、行星和人类存在的原因,因此被认为将是现代物理学最重大的发现之一。
“桌面云”绽放
什么是云计算?
有人认为云计算无所不能,甚至能够解决全球的饥饿问题。
美国市场研究公司Gartner曾经评选出2011年对多数组织最具战略意义的十大技术和趋势,云计算高居榜首。由此可见,云计算将给市场带来巨大变革,是时代发展的必然趋势,而并非一场过眼烟“云”。
云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。在云计算模式下,用户的计算机会变得十分简单,不再需要内存、硬盘和各种应用软件,就可以满足我们的需求,因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器”和“主机”的电线无限长,从而可以把显示器放在使用者的面前,而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络,把“主机”变成云服务提供商的服务器集群。
2013年8月底,记者在上海盲童学校见证了一朵绽放的“桌面云”——这是华为为盲童学校的孩子们专门定制的云计算平台。所有的终端设备简化成了一台显示器、一个键盘和一个鼠标,服务器也不过一台影碟机大小。学校的盲童孩子只需戴上耳机、在语音软件的提示下,就能轻松自如地上网、学习、聊天、购物。
最方便的地方还在于每个盲童孩子都拥有一个专属账号,通过这个账号,孩子们可以对自己的桌面进行个性化设置,比方说特大号字体,黑底白字或者白底黑字,设定保存之后,无论是在哪台电脑、又或者在Pad以及手机上,孩子们只要以这个账号登录,都能随时随地地享有自己的个性化操作环境。
如果说以前是人跟着机器跑的话,那么“桌面云”就真正实现了机器跟着人跑。千叶的裸眼视力只有0.01,即便是用Pad,也必须贴到眼皮底下才能看清楚屏幕上的字,为了查找资料,千叶常常弓腰驼背完成虾米状,十几分钟下来就腰酸背痛,眼睛酸了。现在登录“桌面云”,每个字都有半个屏幕那么大,千叶终于可以抬头挺胸地操作Pad了。“总之,真的是很方便,很方便。”
校园网内的计算机病毒的防控一直是一个十分棘手的问题。尤其在多媒体教室及计算机实验室。一台机器中毒,很快就会传遍所有机器。杀毒软件授权使用费用对学校来说也是一笔不小的开支,但对病毒仍不能有效地防控。而在华为提供的云平台上,华为提供商拥有先进技术和专业团队来负责这些资源的安全维护工作,师生们只需通过网络就能访问自己的数据。本地不再存储任何数据,因而不用担心病毒入侵造成的破坏。所以,“云计算在学校的应用既省去了学校在信息安全方面的开支,又确保了学校师生的信息安全”。盲童学校总务长胡老师大赞云计算给学校教学管理带来的巨大变化。 华东师范大学商学院徐鑫教授也有相同的感受。“基于统一的协作云管理平台,利用多媒体教室的计算机管理,使得日常教学科研变得更为便捷、高效。而eClass平台可以支撑远程互动教学,实现云中教学、互动课堂、在线答疑等;特别值得一提的是统一通信功能。它支持多终端接入,如PC、Pad、智能手机等,并融合了语音、数据、视频等业务,使华师大商学院实现了即时消息、IP语音、远程会议、远程培训、移动办公等全方位应用;而在虚拟化的服务器上,也已经部署了20余套软件,既包括各类企业专用软件,也包括大量的实训教学模拟软件,极大地丰富了实训教学。”
云计算平台对于学生而言,“化被动为主动”探索式学习成为主流,“让学习无处不在”,“理论走向实际”。对于老师而言,云中教学、云中协作、在线答疑等正改变着传统的教学和科研模式,并实现了跨区域教学、优秀教师资源共享,增强了教师间的沟通交流与协作。
桌面云解决方案除了能够实现计算、存储资源的集中共享,云数据中心的统一调度管理,还能解决传统PC带来的信息安全、办公效率、运维管理等诸多问题,对政府、企业具有重大意义。
为了解决研发办公信息的安全性问题,提高IT管理维护效率,降低办公系统能耗,同时对员工的办公环境也带来了显著改善,华为2009年开始试验部署桌面云,支持研发、测试、办公、会议室等各种场景,2010年在华为上海研究所完成1万用户的部署,之后全面推广到全球机构。华为桌面云是全球最大规模的的办公桌面云,目前支持10万用户同时使用。
桌面云的实施效果非常惊人。新人入职申领办公设备从原来的一天/人次,提高到10分钟/人次,节省了98%的费用;维护效率从小于100台/人提高到大于1000台/人,整整提高了9倍。每台机器的能耗更是从253瓦下降到66瓦。设备的更换频率也从原来的3年提高到10年以上,仅此一项就可以一年节约将近8000万的费用。
数据爆炸
进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。正如《纽约时报》2012年2月的一篇专栏文章中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
Google前雇员创办Climate公司,从美国气象局等获得几十年的天气数据,并与各地的土壤状况及历年农作物产量关联,向有需求的农场提供明年产量预测,就是一则典型的大数据应用案例。正是因为有了足够大量的天气数据做模型测算,Climate公司底气十足地表示——如果出现未能预测的恶劣天气损坏庄稼,将及时赔付农户。
中国工程院邬贺铨院士指出,2011年全球的数据规模为1.8ZB,信息足以填满575亿个32GB的苹果iPad,这些iPad可以在中国建起两座长城。2020年全球数据将达到40ZB,如果把这些数据全部存入现在的蓝光光盘,这些光盘的重量将相当于424艘尼米兹级航母!
每时每刻,企业内IT系统在产生各式各样的数据;分分秒秒,互联网上浪涌般的信息将一个个企业淹没或推高。面对这些持续激增的海量数据信息,现今大部分企业所能做的至多是被动地将数据短暂存储,已采用近30年的企业传统数据处理架构对这些海量信息几乎无能为力。如何让这些繁杂无序的数据产生价值、而不只是空耗成本?如何让企业轻松驾驭这些海量数据信息来创新、快速洞悉商机?是现今企业的迫切需求。
一个流传甚广的案例则是美国零售企业好市多(Costco)接到了一位母亲的投诉:“我的女儿才16岁,你们却向她推销孕妇类的产品。”
结果她16岁的女儿确实怀孕了。为什么卖货的商场,却能比朝夕相处的母亲,更早知道女儿的孕事?原来,发现自己怀孕之后,16岁的她不敢告诉母亲,只能时常在网上浏览一些和怀孕相关的网站,搜寻一些孕妇要用的东西。这些浏览行为会被当做数据记录下来,Costco的数据分析团队据此进行了精确的商品促销定位。
“除了存在那里,大数据最终还是要给用户或数据的拥有者带来价值。”华为中国区副总裁胡忠华对记者表示,对于如何从数据中发现价值,业界有很多技术,其中最主要的是以Hadoop为基础建立的一整套分析体系。
截至目前,无论是英特尔、IBM、EMC这样的基础架构厂商,还是微软、SAP、甲骨文这样的应用软件厂商,都推出了支持Hadoop或者基于Hadoop的产品线,以应对市场对于大数据的需求。
据悉华为将在今年的HCC上正式发布企业级大数据分析平台FusionInsight,旨在帮助企业快速构建海量数据信息处理系统,通过对企业内部和外部的巨量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。
华为FusionInsight大数据平台,以双引擎的处理为核心,包括海量数据引擎FusinInsight Hadoop和实时数据处理引擎FusionInsight Streaming,并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求打造了高可靠、高安全、易使用的OM系統和建模中间件,让企业可以更快、更准、更稳地从各类繁杂无序的海量数据中发现价值。FusionInsight软件平台可以运行在标准的x86服务器集群上,也可以运行在提供HDFS接口的集群NAS上,企业可以根据自己的需要进行任意搭配。
通过大数据分析平台,我们可以想象,通过遍布各地的电子眼和监控摄像头,警务系统可以基于大数据识别一些危险的人或危险的行为,发现苗头进行预警。
再如,现在几乎没有人可以离开手机,而手机信号的大数据使用,未来甚至可以用于控制交通流量,通过车上的GPS和手机,当交通进入拥堵状态,就通过手机提示你进入某个路段要收费,如果执意进入,费用就从手机上直接自动收取了,这就避免了现在在各个路口设卡刷卡所带来的麻烦。 当然,大数据的应用也不都是那么美妙,新浪微博和阿里联姻之后,就闹出一个经典促销的段子——
一个微博网友听说淘宝上有棺材包邮的信息,就试着搜了一下“棺材”,结果还真有!!还是檀木的!接下来见证奇迹的时刻到了,网友在自己的微博上发现了各种各样、五花八门的骨灰盒、寿衣、墓地之类的广告信息,而且一连推送了一个月……
苦不堪言的网友只好@微博小秘书——我错了!!!!我之前看微博说淘宝大部分棺材都包邮,我无聊得蛋疼就真的去淘宝看了一下还真的很多都包邮!但是,新浪微博你!用不着一个月来在热门商品推荐天天给我推荐棺材!寿衣!骨灰盒!好吗!我不需要!好吗!我只是无聊搜了搜!给次机会我改错好吗!!!
当然,这样的乌龙事件应该随着数据应用的深化而逐渐减少。只是我们在享受越来越精准的服务同时会不会感到隐私越来越少了呢?也许在互联网上,我们从来都是透明人。
云计算
“云计算”是将所有的计算资源集中起来,并由软件实现自动管理,无需人为参与。企业只需要定制相应的服务,由云服务商或云端提供需要的基础架构、服务、软硬件资源等。
利用云计算企业可以节约成本,不用投资购买昂贵的硬件设备,无需负担频繁的维护与升级费用,也不需要建立自己的数据中心、大型机房、服务器中心等,并相应减少软硬件的运行维护费用和IT人员的实施费。此外,云计算可以轻松实现不同设备间的数据与应用共享。與传统的应用平台相比,云计算平台的优点在于强大的计算能力、存储能力、多样化的服务以及高性价比。
目前,云计算的主要服务形式有软件即服务SaaS(Software as a Service)、平台即服务PaaS(Platform as a Service)、基础设施服务IaaS(Infrastructure as a Service)三种形式。
SaaS,服务提供商将应用软件统一部署在自己的服务器上,用户根据需求通过互联网向厂商订购应用软件服务,服务提供商根据客户所订软件的数量、时间的长短等因素收费,并且通过浏览器向客户提供软件的模式。这种模式下,客户不再像传统模式那样花费大量资金在硬件、软件、维护人员,只需要支出一定的租赁服务费用,通过互联网就可以享受到相应的硬件、软件和维护服务,这是网络应用最具效益的营运模式。
PaaS,把开发环境作为一种服务来提供。这是一种分布式平台服务,厂商提供开发环境、服务器平台、硬件资源等服务给客户,用户在其平台基础上定制开发自己的应用程序并通过其服务器和互联网传递给其他客户。
IaaS,即把厂商的由多台服务器组成的“云端”基础设施,作为计量服务提供给客户。它将内存、I/O设备、存储和计算能力整合成一个虚拟的资源池为整个业界提供所需要的存储资源和虚拟化服务器等服务。这是一种托管型硬件方式,用户付费使用厂商的硬件设施。