论文部分内容阅读
摘要：当今社会，计算机和信息技术的发展越来越迅猛，各行应用系统的规模在迅速扩大，各行业应用所产生的数据呈井喷式增长。很多数据达到数百TB甚至数十至数百PB的规模，各行业所应用的大数据已远远超出了传统的计算和信息技术的处理能力，因此，现实世界迫切需要寻求有效的大数据处理技术、方法和手段。
关键词：信息技术；大数据；处理技术
一、大数据产生的背景
计算机和网络已经成为当今社会不可或缺的重要工具，人们在各个领域中都需要计算机的帮助，人们利用计算机的高速度和大容量的特点完成了原来不能完成的任务，并且这种大容量的应用越来越广。例如淘宝网站累计的交易数据量高达100PB；百度网站目前的总数据量已超过1000PB，每天处理网页的数据达到10PB～100PB；中国移动公司在某一个省一个月的电话通话记录数据高达 0.5PB～1PB；一个大型城市道路车辆监控数据三年达200亿条、总量120TB。据世界权威信息咨询分析公司研究报告预测：全世界的数据量将从2009年的0.8ZB增长到2020年的35ZB，10年将增长44倍。
人们在早些年习惯把大规模数据称为“海量数据”，但实际上，大数据（Big Data）这个概念在2008年就已经被提出。2008年，在Google公司成立10周年之际，著名的《自然》杂志专门出版了一期专刊，讨论大数据相关的一系列技术问题，其中就提出了大数据（Big Data）的概念。
随着对大数据越来越多的了解，人们常常会问，究竟怎样的数据才能称作大数据？其实，关于大数据的定义，难以有一个非常准确的说法。维基百科给出了一个关于大数据的描述：大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集。其实，如今“大数据”一词的重点已经不仅在于数据规模的定义，它更多的是代表着计算机以及信息技术发展进入了一个新的时代，代表着大数据处理所需要的新技术和新方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
由于人们已经认识到大数据的迫切性和重要性，近年来大数据技术已经在各国政府、学术界、以及工业界得到高度重视，全球掀起了一场可与20世纪90年代的信息高速公路相提并论的研究热潮。
二、大数据的特征
计算机领域通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征。
大数据的特征一是数据量巨大（Volume）。据有关统计，截至目前，人类生产的所有印刷材料的数据量大约是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。然而目前很多个人计算机硬盘的容量为TB量级，而很多大企业的数据量已经接近或达到EB量级。
大数据的特征二是数据类型繁多（Variety）。类型的多样性让数据被分为结构化数据和非结构化数据。相对于以往为了方便存储以文本为主的结构化数据，大数据主要采用非结构化数据，主要包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理技术提出了更高要求。
大数据的特征三是价值密度低（Value）。價值密度的高低与数据总量的大小成反比例关系。以监控视频为例，一段1小时的监控视频，有用数据可能仅有一二秒。如何通过精密的机器算法更迅速地完成对大量数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
大数据的特征四是处理速度快（Velocity）。这是大数据区分于传统数据最显著特征之一。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，如何快速准确处理数据将是最关键的步骤。
三、大数据发展现状
（一）政府积极介入推动
2012年1月世界经济论坛年会上“大数据、大影响”作为重要议题来讨论。美国从开展关键技术研究、开放政府数据和推动大数据应用三方面布局大数据产业。美国在开放政府数据上表现非常积极，通过data.gov开放37万个数据集，并将开放网站的API和源代码，提供了上千个数据应用。同时美国提倡发起全球开放政府数据运动，目前已有四十多个国家和政府响应。
（二）资本市场也对大数据钟爱有加
大数据的迅速发展，使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，现在国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。
2012年4月，大数据分析公司Splunk高调宣传大数据，引发投资者关注。2012年12月初，为企业市场提供Hadoop解决方案的创业公司Cloudera获得6500万美元融资，估值约为7亿美元。近期，高盛联席主席斯科特斯坦福说：“投资大数据及其运用回报率最高”。大数据领域的企业并购热度也在上升，单笔平均并购金额方面，大数据超过云计算位居IT领域榜首，在总并购额上也位居第二。
（三）人才需求巨大
据国际咨询公司盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万～49万，缺口14万～19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才却是稀缺资源，未来的中国更需要大数据的人才。
（四）国内情况
大数据的迅速发展，也带动了国内政府、学术界和产业界和对大数据的热情。2011年以来，中国许多计算机方面的协会成立了大数据委员会，研究大数据中的科学与工程问题。政府也积极相应新技术的应用，科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。其中工信部发布的物联网“十二五”规划，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。
市场应用方面，中国移动、联通、电信三大通信运营商都在结合自身业务情况，积极推进大数据的应用工作，并取得了较大的进展。阿里巴巴集团提出要做中国数据分析第一平台，通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。
四、未来展望
（一）与云计算的深度结合
大数据的发展离不开云计算，云计算为大数据提供强大的基础设备。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将会更加密切。除此之外，物联网、移动互联网等新兴计算形态，也将成为大数据革命不可或缺的技术支持。
（二）科学理论的突破
就像计算机和互联网的快速发展一样，大数据很有可能成为新一轮的技术革命。随之兴起的机器学习、数据挖掘技术和人工智能等相关技术，可能会改变数据世界里的基础理论和很多算法，在科学技术上实现新的突破。
（三）数据科学和数据联盟的成立
未来，数据科学将成为一门专门的学科。各大高校也会设立专门的数据科学类专业，催生一批与之相关新兴产业。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台。
大数据作为一种重要的战略资产，已经渗透到许多行业领域和部门，其深度应用不仅有助于企业经营活动，更利于推动整个国民经济发展。
关键词：信息技术；大数据；处理技术
一、大数据产生的背景
计算机和网络已经成为当今社会不可或缺的重要工具，人们在各个领域中都需要计算机的帮助，人们利用计算机的高速度和大容量的特点完成了原来不能完成的任务，并且这种大容量的应用越来越广。例如淘宝网站累计的交易数据量高达100PB；百度网站目前的总数据量已超过1000PB，每天处理网页的数据达到10PB～100PB；中国移动公司在某一个省一个月的电话通话记录数据高达 0.5PB～1PB；一个大型城市道路车辆监控数据三年达200亿条、总量120TB。据世界权威信息咨询分析公司研究报告预测：全世界的数据量将从2009年的0.8ZB增长到2020年的35ZB，10年将增长44倍。
人们在早些年习惯把大规模数据称为“海量数据”，但实际上，大数据（Big Data）这个概念在2008年就已经被提出。2008年，在Google公司成立10周年之际，著名的《自然》杂志专门出版了一期专刊，讨论大数据相关的一系列技术问题，其中就提出了大数据（Big Data）的概念。
随着对大数据越来越多的了解，人们常常会问，究竟怎样的数据才能称作大数据？其实，关于大数据的定义，难以有一个非常准确的说法。维基百科给出了一个关于大数据的描述：大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集。其实，如今“大数据”一词的重点已经不仅在于数据规模的定义，它更多的是代表着计算机以及信息技术发展进入了一个新的时代，代表着大数据处理所需要的新技术和新方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
由于人们已经认识到大数据的迫切性和重要性，近年来大数据技术已经在各国政府、学术界、以及工业界得到高度重视，全球掀起了一场可与20世纪90年代的信息高速公路相提并论的研究热潮。
二、大数据的特征
计算机领域通常用4个V（即Volume、Variety、Value、Velocity）来概括大数据的特征。
大数据的特征一是数据量巨大（Volume）。据有关统计，截至目前，人类生产的所有印刷材料的数据量大约是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。然而目前很多个人计算机硬盘的容量为TB量级，而很多大企业的数据量已经接近或达到EB量级。
大数据的特征二是数据类型繁多（Variety）。类型的多样性让数据被分为结构化数据和非结构化数据。相对于以往为了方便存储以文本为主的结构化数据，大数据主要采用非结构化数据，主要包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理技术提出了更高要求。
大数据的特征三是价值密度低（Value）。價值密度的高低与数据总量的大小成反比例关系。以监控视频为例，一段1小时的监控视频，有用数据可能仅有一二秒。如何通过精密的机器算法更迅速地完成对大量数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
大数据的特征四是处理速度快（Velocity）。这是大数据区分于传统数据最显著特征之一。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，如何快速准确处理数据将是最关键的步骤。
三、大数据发展现状
（一）政府积极介入推动
2012年1月世界经济论坛年会上“大数据、大影响”作为重要议题来讨论。美国从开展关键技术研究、开放政府数据和推动大数据应用三方面布局大数据产业。美国在开放政府数据上表现非常积极，通过data.gov开放37万个数据集，并将开放网站的API和源代码，提供了上千个数据应用。同时美国提倡发起全球开放政府数据运动，目前已有四十多个国家和政府响应。
（二）资本市场也对大数据钟爱有加
大数据的迅速发展，使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，现在国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。
2012年4月，大数据分析公司Splunk高调宣传大数据，引发投资者关注。2012年12月初，为企业市场提供Hadoop解决方案的创业公司Cloudera获得6500万美元融资，估值约为7亿美元。近期，高盛联席主席斯科特斯坦福说：“投资大数据及其运用回报率最高”。大数据领域的企业并购热度也在上升，单笔平均并购金额方面，大数据超过云计算位居IT领域榜首，在总并购额上也位居第二。
（三）人才需求巨大
据国际咨询公司盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万～49万，缺口14万～19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才却是稀缺资源，未来的中国更需要大数据的人才。
（四）国内情况
大数据的迅速发展，也带动了国内政府、学术界和产业界和对大数据的热情。2011年以来，中国许多计算机方面的协会成立了大数据委员会，研究大数据中的科学与工程问题。政府也积极相应新技术的应用，科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。其中工信部发布的物联网“十二五”规划，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。
市场应用方面，中国移动、联通、电信三大通信运营商都在结合自身业务情况，积极推进大数据的应用工作，并取得了较大的进展。阿里巴巴集团提出要做中国数据分析第一平台，通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。
四、未来展望
（一）与云计算的深度结合
大数据的发展离不开云计算，云计算为大数据提供强大的基础设备。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将会更加密切。除此之外，物联网、移动互联网等新兴计算形态，也将成为大数据革命不可或缺的技术支持。
（二）科学理论的突破
就像计算机和互联网的快速发展一样，大数据很有可能成为新一轮的技术革命。随之兴起的机器学习、数据挖掘技术和人工智能等相关技术，可能会改变数据世界里的基础理论和很多算法，在科学技术上实现新的突破。
（三）数据科学和数据联盟的成立
未来，数据科学将成为一门专门的学科。各大高校也会设立专门的数据科学类专业，催生一批与之相关新兴产业。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台。
大数据作为一种重要的战略资产，已经渗透到许多行业领域和部门，其深度应用不仅有助于企业经营活动，更利于推动整个国民经济发展。