论文部分内容阅读
这是一个数据置暴涨的年代
在这个快节奏的年代,互联网上的一分钟我们可以干什么呢?可以发出2亿封邮件,苹果的应用下载量可高达4.7万次,亚马逊销售额超过8万美元,Twitter上载10万条新微博,Google可发生200万次搜索查询……全球互联网上一天的信息量可以刻满1.68亿张DVD,80万个硬盘,约为800EB。
于此同时,全球联网主机数的增长速度依旧呈现扶摇直上之势,特别是在移动通信领域,当移动终端嵌入多种传感器,移动业务的物联网化应用使得各种数据量突飞猛进。
专家直言,谁赢得了大数据的支配权,谁就赢得移动通信发展的未来。
首先,全球移动数据流量超过移动话音。据统计,2011年我国移动互联网数据单月流量超50EB,年增长37%,忙时数据流量占全网宽带一半以上。而在2012年上半年,移动数据业务收入占移动业务收入三成以上,其中中国电信的占比最高,其移动数据收入占了整个移动收入的45%,中国联通次之,中国移动居第三,仍是以话音收入为主。
从全球范围看,移动数据流量的增长率也非常快。市场预计,2016年全球移动数据流量将达到10.8EB/月,年增78%,其中手机占50%,平板电脑占10%;其中超过10%的移动数据量将由中国产生。而全球移动数据业务量中三分之二为视频,是2011年的25倍。
目前,全球移动互联网的流量占整个互联网流量现已超过10%。亚太地区的占比最高,约为18%。以印度为例,印度的移动互联网流量已超过桌面互联网,占该国整体互联网的一半以上。
大数据的价值
据维基百科定义,大数据是指无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,大数据规模的标准是持续变化的,当前泛指单一数据集的大小在几十TB和数PB之间。
互联网人均流量的暴涨,以及云计算、物联网等技术的加盟,正向世人告知——大数据时代已经到来。全球新产生的数据年增40%,全球信息总量每两年就可以翻番。据统计数据显示,2011年全球产生了1.8ZB数据,已大大超过了2011年以前的人类信息量的总和。而今,无论是安全监控,还是环保监视、交通流量监控、远程医疗、医院病历等领域,都达到了大数据的规模。
大数据的重要性正在不断显现,大数据将在一段时间内成为各个产业发展的重点。即便如此,人们不得不面临一个难题,人们如何去挖掘有用的数据,怎么将数据运用到未来的应用中。目前,市场对新增数据的利用率增长不足5%。
中国工程院院士邬贺铨认为,“大数据”已经渗入到人们生活的每个角落,中国各方已经认识到数据所带来的财富,并在积极着手挖掘这个巨大的产业。大数据、智能化生产以及无线网络三种技术将引起新世纪的技术变革,直接催生第三次工业革命。他同时就大数据在各个领域的应用做具体分析。
制造业:通过大数据的交流分析,优化工厂的生产流程,可将工厂的运转性能提高40%至60%,并进一步挖掘企业的战略形式。
农业:通过对手机上农产品“移动支付”数据、“采购投入”数据和“补贴”数据分析,可预测农产品的生产趋势,政府可依次制定出激励措施和确定合适的作物存储量,还可以为农民提供进入服务。
金融业:华尔街德温特资本市场公司分析全球3.4亿微博账户留言,判断民众情绪,人们高兴的时候会买股票,而焦虑的时候会抛售股票,依此决定公司股票的买入或卖出,该公司2012年一季度获得7%的收益率。阿里公司则根据淘宝上中小企业的交易状况,筛选出财务健康和诚信的企业,从而无需担保来放贷,目前已放贷300多亿元,坏账率仅0.3%,大大低于商业银行。
社会管理:运营商拥有大量的手机数据,通过对手机数据的挖掘,不针对个人而是着眼于群体行为,可从中分析出实时动态的流动人口的来源及分布情况;出行和实时交通客流信息及拥塞情况;利用手机用户身份和位置的检测可了解突发性事件的聚集情况。以及利用短信、微博、微信和搜索引擎收集热点事件与舆论挖掘,了解疾病流行情况等。
电信运营商管理:运营商可以建立网络管理平台,通过挖掘用户数据,更好服务用户,优化资源配置和网络规划。
信息智能化服务:在Web 1.0年代,网络内容由网站专业人员产生;而今,内容主要由网民及物件产生;若发展到Web 4.0,内容将具备自组织、感知、自配置等特点,即搜索的结果如博士生写论述一样。此外,还能进行语音搜索和个性化搜索,将移动互联网的小屏幕终端解放出来,网络也可识别客户的移动手机屏幕分辨率及页面属性,形成适合终端播放的文件和视频流,终端显示时能对图像进行拼接及屏幕播放等。
政治领域:奥巴马竞争团队有数干名志愿者,他们通过社交网络和微博等收集选民的爱好和关注,利用软件分析并建立选民档案,例如某个选民在Facebook或者Twitter上的大部分帖子都是关于环保和医疗成本,就可通过电子邮件或短信、微博发一条源自奥巴马专门谈论环境问题的信息让该选民有理由支持总统连任,同时还可从选民那里得到新的反馈。
医疗保健:谷歌公司与美国疾病控制和预防中心等机构合作,依据网民搜索内容分析全球范围内流感等病疫传播情况。例如美国某地方发生流感,人们可通过微博询问最佳的看病场所。社交网络还能为许多慢性病患者提供临床症状交流和诊治经验分享平台。医院借此可获得足够多的临床效果统计。
总而言之,大数据的经济价值就是使各个领域减少成本支出,获得更大收益。大数据能够使制造业设备装配成本降低五成,零售商利用大数据可增加六成的运营利润,服务提供者利用全球个人位置数据可获得6000亿美元的潜在消费者年度盈余……正如麦肯锡所言,大数据是下一个创新、竞争、生产力提高的前沿,数据就是一种生产资料。
移动大数据的挑战
移动通信从第一代的模拟、电路交换,到现在的3G、LTE,通过各种各样的应用技术,每一代都有新的突破,移动通信峰值速率平均每年也加倍递增。 即便如此,移动通信的前进步伐仍然受制于大数据的发展,大数据加速移动通信升级换代,同时加大对提升移动通信峰值速率的压力。如今,我们的移动通信基站越来越多,系统容量越来越大。
未来移动通信业务能否进一步提高,首先需要突破网络容量的瓶颈。在LTE以及LTEA阶段,将以WLAN分流移动数据。现在,国内的三大运营商都在加速建设WiFi业务。据统计,目前全球移动数据流量33%分流到WiFi,2010年WiFi占全网lP流量为36%,预计2015年将达到46%。
与此同时,如何利用认知无线电应解决频谱不足与利用率低难题,也迫在眉睫。
所谓认知无线电指通过检测空闲频段资源,分析干扰以决定可否多系统共存,对通信系统参数进行动态调整,实现对空闲频谱的自适应利用。在现有频段已被划分殆尽的今天,ITU评估报告提出,全球移动通信到2020年将需要新增0.5-1GHz。发达国家通过将700MHz数字电视红利频段拍卖来支持移动通信。中国遇到的主要困难,是已经分配的频率没有真正实现其价值,因此如何降低频率的虚耗,对传统通信技术也提出了更高的要求。
此外,数据量不断膨胀和变化,对传统的路由器有了操作系统的需求,为了适应大数据灵活变化的形式,就需实现软件定义网,用软件定义网支持分片化和可编程,实现转发与控制分离。因此通过逻辑上的控制,可以将整个网络做得更灵活,组织得更好。
当然,随着传统网民向移动网民过渡,并进入全网lP化时代,为了使得整个移动数据传递得更好,可以减少网络的层次,降低时延,增加吞吐量。
大数据时代也促使了网络体系的演变。数据存储在大量几何分布的各类服务器中,用户的一个搜索或查询涉及到多个服务器,服务期间的信息交换远多于客户与服务期间的信息交换,网络体系需要从客户/服务器的垂直架构向服务器间的水平架构优化。在近5年,我国接入网宽带流量增长了6倍,而城域网流量则增长了22倍,如果视频从标清转为高清,则城域网流量将增加84倍。
2012年2月,《华尔街日报》网站刊登名为《科技引领的繁荣即将到来》一文,文中指出,正如上世纪的技术革命为世界带来了曙光,目前人类又迎来了新一轮的技术革命。此次由大规模数据、智能化生产以及无线网络所引领的技术革命将推动经济增长,带来社会巨变。而后无论是Gartner公司发布的2013年十大战略技术,还是美国GCN公司建议奥巴马政府新一届任期应注重以下五大IT技术重点中:大数据、移动通讯、物联网、云计算都成为了关键词。
可以预测,当大数据、移动互联网、下一代互联网、物联网、云计算、社交网络结合在一起,将会掀起网络业务发展的新浪潮。
就如同邬贺铨院士所言,大数据是无形的生产资料,可从中挖掘出有用信息,对研发、生产、流通和社会管理等领域产生重要影响;大数据对宽带移动网络技术和业务的发展既是难得的机遇,也是严峻的挑战;包括智能终端和移动社交网络在内的移动互联网将成为争夺大数据产业与应用的重点。未来,我国将产生全球最大量的数据,要重视大数据的开发利用和管理,加大创新力度,发展新一代移动通信网络,迎接大数据时代的到来。
在这个快节奏的年代,互联网上的一分钟我们可以干什么呢?可以发出2亿封邮件,苹果的应用下载量可高达4.7万次,亚马逊销售额超过8万美元,Twitter上载10万条新微博,Google可发生200万次搜索查询……全球互联网上一天的信息量可以刻满1.68亿张DVD,80万个硬盘,约为800EB。
于此同时,全球联网主机数的增长速度依旧呈现扶摇直上之势,特别是在移动通信领域,当移动终端嵌入多种传感器,移动业务的物联网化应用使得各种数据量突飞猛进。
专家直言,谁赢得了大数据的支配权,谁就赢得移动通信发展的未来。
首先,全球移动数据流量超过移动话音。据统计,2011年我国移动互联网数据单月流量超50EB,年增长37%,忙时数据流量占全网宽带一半以上。而在2012年上半年,移动数据业务收入占移动业务收入三成以上,其中中国电信的占比最高,其移动数据收入占了整个移动收入的45%,中国联通次之,中国移动居第三,仍是以话音收入为主。
从全球范围看,移动数据流量的增长率也非常快。市场预计,2016年全球移动数据流量将达到10.8EB/月,年增78%,其中手机占50%,平板电脑占10%;其中超过10%的移动数据量将由中国产生。而全球移动数据业务量中三分之二为视频,是2011年的25倍。
目前,全球移动互联网的流量占整个互联网流量现已超过10%。亚太地区的占比最高,约为18%。以印度为例,印度的移动互联网流量已超过桌面互联网,占该国整体互联网的一半以上。
大数据的价值
据维基百科定义,大数据是指无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,大数据规模的标准是持续变化的,当前泛指单一数据集的大小在几十TB和数PB之间。
互联网人均流量的暴涨,以及云计算、物联网等技术的加盟,正向世人告知——大数据时代已经到来。全球新产生的数据年增40%,全球信息总量每两年就可以翻番。据统计数据显示,2011年全球产生了1.8ZB数据,已大大超过了2011年以前的人类信息量的总和。而今,无论是安全监控,还是环保监视、交通流量监控、远程医疗、医院病历等领域,都达到了大数据的规模。
大数据的重要性正在不断显现,大数据将在一段时间内成为各个产业发展的重点。即便如此,人们不得不面临一个难题,人们如何去挖掘有用的数据,怎么将数据运用到未来的应用中。目前,市场对新增数据的利用率增长不足5%。
中国工程院院士邬贺铨认为,“大数据”已经渗入到人们生活的每个角落,中国各方已经认识到数据所带来的财富,并在积极着手挖掘这个巨大的产业。大数据、智能化生产以及无线网络三种技术将引起新世纪的技术变革,直接催生第三次工业革命。他同时就大数据在各个领域的应用做具体分析。
制造业:通过大数据的交流分析,优化工厂的生产流程,可将工厂的运转性能提高40%至60%,并进一步挖掘企业的战略形式。
农业:通过对手机上农产品“移动支付”数据、“采购投入”数据和“补贴”数据分析,可预测农产品的生产趋势,政府可依次制定出激励措施和确定合适的作物存储量,还可以为农民提供进入服务。
金融业:华尔街德温特资本市场公司分析全球3.4亿微博账户留言,判断民众情绪,人们高兴的时候会买股票,而焦虑的时候会抛售股票,依此决定公司股票的买入或卖出,该公司2012年一季度获得7%的收益率。阿里公司则根据淘宝上中小企业的交易状况,筛选出财务健康和诚信的企业,从而无需担保来放贷,目前已放贷300多亿元,坏账率仅0.3%,大大低于商业银行。
社会管理:运营商拥有大量的手机数据,通过对手机数据的挖掘,不针对个人而是着眼于群体行为,可从中分析出实时动态的流动人口的来源及分布情况;出行和实时交通客流信息及拥塞情况;利用手机用户身份和位置的检测可了解突发性事件的聚集情况。以及利用短信、微博、微信和搜索引擎收集热点事件与舆论挖掘,了解疾病流行情况等。
电信运营商管理:运营商可以建立网络管理平台,通过挖掘用户数据,更好服务用户,优化资源配置和网络规划。
信息智能化服务:在Web 1.0年代,网络内容由网站专业人员产生;而今,内容主要由网民及物件产生;若发展到Web 4.0,内容将具备自组织、感知、自配置等特点,即搜索的结果如博士生写论述一样。此外,还能进行语音搜索和个性化搜索,将移动互联网的小屏幕终端解放出来,网络也可识别客户的移动手机屏幕分辨率及页面属性,形成适合终端播放的文件和视频流,终端显示时能对图像进行拼接及屏幕播放等。
政治领域:奥巴马竞争团队有数干名志愿者,他们通过社交网络和微博等收集选民的爱好和关注,利用软件分析并建立选民档案,例如某个选民在Facebook或者Twitter上的大部分帖子都是关于环保和医疗成本,就可通过电子邮件或短信、微博发一条源自奥巴马专门谈论环境问题的信息让该选民有理由支持总统连任,同时还可从选民那里得到新的反馈。
医疗保健:谷歌公司与美国疾病控制和预防中心等机构合作,依据网民搜索内容分析全球范围内流感等病疫传播情况。例如美国某地方发生流感,人们可通过微博询问最佳的看病场所。社交网络还能为许多慢性病患者提供临床症状交流和诊治经验分享平台。医院借此可获得足够多的临床效果统计。
总而言之,大数据的经济价值就是使各个领域减少成本支出,获得更大收益。大数据能够使制造业设备装配成本降低五成,零售商利用大数据可增加六成的运营利润,服务提供者利用全球个人位置数据可获得6000亿美元的潜在消费者年度盈余……正如麦肯锡所言,大数据是下一个创新、竞争、生产力提高的前沿,数据就是一种生产资料。
移动大数据的挑战
移动通信从第一代的模拟、电路交换,到现在的3G、LTE,通过各种各样的应用技术,每一代都有新的突破,移动通信峰值速率平均每年也加倍递增。 即便如此,移动通信的前进步伐仍然受制于大数据的发展,大数据加速移动通信升级换代,同时加大对提升移动通信峰值速率的压力。如今,我们的移动通信基站越来越多,系统容量越来越大。
未来移动通信业务能否进一步提高,首先需要突破网络容量的瓶颈。在LTE以及LTEA阶段,将以WLAN分流移动数据。现在,国内的三大运营商都在加速建设WiFi业务。据统计,目前全球移动数据流量33%分流到WiFi,2010年WiFi占全网lP流量为36%,预计2015年将达到46%。
与此同时,如何利用认知无线电应解决频谱不足与利用率低难题,也迫在眉睫。
所谓认知无线电指通过检测空闲频段资源,分析干扰以决定可否多系统共存,对通信系统参数进行动态调整,实现对空闲频谱的自适应利用。在现有频段已被划分殆尽的今天,ITU评估报告提出,全球移动通信到2020年将需要新增0.5-1GHz。发达国家通过将700MHz数字电视红利频段拍卖来支持移动通信。中国遇到的主要困难,是已经分配的频率没有真正实现其价值,因此如何降低频率的虚耗,对传统通信技术也提出了更高的要求。
此外,数据量不断膨胀和变化,对传统的路由器有了操作系统的需求,为了适应大数据灵活变化的形式,就需实现软件定义网,用软件定义网支持分片化和可编程,实现转发与控制分离。因此通过逻辑上的控制,可以将整个网络做得更灵活,组织得更好。
当然,随着传统网民向移动网民过渡,并进入全网lP化时代,为了使得整个移动数据传递得更好,可以减少网络的层次,降低时延,增加吞吐量。
大数据时代也促使了网络体系的演变。数据存储在大量几何分布的各类服务器中,用户的一个搜索或查询涉及到多个服务器,服务期间的信息交换远多于客户与服务期间的信息交换,网络体系需要从客户/服务器的垂直架构向服务器间的水平架构优化。在近5年,我国接入网宽带流量增长了6倍,而城域网流量则增长了22倍,如果视频从标清转为高清,则城域网流量将增加84倍。
2012年2月,《华尔街日报》网站刊登名为《科技引领的繁荣即将到来》一文,文中指出,正如上世纪的技术革命为世界带来了曙光,目前人类又迎来了新一轮的技术革命。此次由大规模数据、智能化生产以及无线网络所引领的技术革命将推动经济增长,带来社会巨变。而后无论是Gartner公司发布的2013年十大战略技术,还是美国GCN公司建议奥巴马政府新一届任期应注重以下五大IT技术重点中:大数据、移动通讯、物联网、云计算都成为了关键词。
可以预测,当大数据、移动互联网、下一代互联网、物联网、云计算、社交网络结合在一起,将会掀起网络业务发展的新浪潮。
就如同邬贺铨院士所言,大数据是无形的生产资料,可从中挖掘出有用信息,对研发、生产、流通和社会管理等领域产生重要影响;大数据对宽带移动网络技术和业务的发展既是难得的机遇,也是严峻的挑战;包括智能终端和移动社交网络在内的移动互联网将成为争夺大数据产业与应用的重点。未来,我国将产生全球最大量的数据,要重视大数据的开发利用和管理,加大创新力度,发展新一代移动通信网络,迎接大数据时代的到来。