论文部分内容阅读
摘要:移动互联、社交网络、电子商务极大的拓展了互联网应用的疆界和领域,高速发展的互联网,充斥着海量的各种类型的数据,能够从大量的数据中迅速的收集、处理自己需要的数据,并对这些数据进行高效率的管理,是适应大数据时代必须要迎接的挑战。
关键词:互联网;处理;大数据;挑战
中图分类号:TP311文献标识码:A文章编号:1007-9599 (2013) 07-0000-02
1大数据时代的来临
从《纽约时报》网刊的文章起,“大数据”逐渐渗透到我们日常的生活中。文章指出,“大数据时代”已经降临,并对各个领域都造成影响,在商业、经济及其他领域中,决策行为将日益基于数据和分析而作出;在公共卫生、经济发展和经济预测等领域中,“大数据”的预见能力也已经崭露头角。对“大数据”予以如此高的评价,主要源于它的四个特征:
(1)容量大(Volume Big)。数据量已经从TB(1012字节)发展至PB乃至ZB,可称海量、巨量乃至超量。(2)多样性(Variable Type)。数据类型繁多,愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。(3)生成速度快(Velocity Fast)。数据流往往为高速实时数据流,而且往往需要快速、持续的实时处理;处理工具亦在快速演进,软件工程及人工智能等均可介入。(4)价值高(Value High)。以视频安全监控为例,连续不断的监控流中,有重大价值者可能仅为一两秒的数据流;3600全方位视频监控的“死角”处,可能会挖掘出最有价值的图像信息。
基于大数据的四大特征可以看出,需要处理的数据量正急剧膨胀,为了从海量的数据中发现知识并加以利用,甚至指导人们的决策,就必须对这些数据进行深入的分析。最典型的大数据分析技术就是关系数据管理技术(RDBMS)和MapReduce技术。
2RDBMS与MapReduce的简介
2.1RDBMS。关系型数据库管理系统,relational database management system 简称RDBMS,是SQL的基础,也是所有现代数据库系统的基础。在数据库中,数据以表格的形式出现,许多行和列组成一张张表单,再由若干张表单组成database,形成数据库,应用于目前许多企业在线交易处理系统、内部管理系统和客户管理系统中。
2.2MapReduce。MapReduce是一种编程模型,主要用途是大规模数据集(大于1TB)的并行运算,主要思想来源于函数式编程语言以及矢量编程语言。面对杂乱无章的互不相关的数据,Map可以解析每个数据,并从中提取出key以及value,即提取数据的特征,再经过MapReduce的Shuffle阶段之后,在Reduce阶段看到的都是已经归纳好的数据了,在此基础上我们就可以做进一步的处理,以便得到结果。简单的来说,可以这样理解MapReduce:把一堆杂乱无章的数据按照某种特征归纳起来,然后处理并得到最后的结果。该技术最初由Google公司最早在2004年提出并展开应用。
3RDBMS与MapReduce的竞争
RDBMS经历过年的发展,技术已经非常成熟,并广泛应用在在众多领域中,而MapReduce技术随着其性能的提升,并广泛应用于搜索相关的数据分析工作后,迅速的成为了RDBMS的竞争者。
RDBMS的最大优势在于性能。在近几十年的数据库研究中,许多先进的技术手段和算法都不断被引进,如索引、I/O共享、数据压缩、优化的数据连接等,但是在大数据时代,数据转移的方式却会对这些已经成熟的性能造成一定影响,主要原因是关系数据库管理系统在大数据时代,其扩展性遭到了前所未有的障碍,不能很好的胜任大数据分析的要求。总结起来,关系数据管理技术面临“大数据”时代,有如下集中缺陷:并行数据库软件级容错能力较差、并行数据库对异构硬件的支持有限、扩展性有限、数据处理及分析过程涉及大量的数据迁移和计算,分析延迟较高。
当需要处理的数据量达到TB和PB级别时,传统方法已经几乎无法处理数据,而适合处理包括结构化、半结构化和非结构化数据类型的MapReduce则体现出了前所未有的优势。面对超大规模的数据,MapReduce技术可以采用例如Hadoop的创新构架,以使用较低成本的常规服务器存储并处理大量的数据;面对复杂的数据,MapReduce可以分析并存放各种原始数据格式,包括图像数据、多媒体数据、文本数据等;面对新的分析手段,新的算法包括自然语言分析、模式识别等,而MapReduce的思想来源本身就是编程语言,可以高效的与新的算法进行融合,进而对海量的数据进行处理和分析。
下表是针对RDBMS和MapReduce的特点进行的比较:
RDBMS MapReduce
模式 内部支持 外部附加
索引 内部支持 编程实现
数据类型 结构化数据 结构化、半结构化、非结构化数据
编程模型 声明性语言SQL 过程性语言
性能 高 比RDBMS低
灵活性 有限 大
扩展性 上百节点 上千节点
容错性 低,查询重启 高,子任务重新执行
应用范围 在线事务处理、分析处理 批量处理、深度分析
4RDBMS与MapReduce的共生
如同自然界生物的生存存在生态系统一般,数据分析的生态系统也逐渐在大数据时代里发生变化。在RDBMS与MapReduce的竞争同时,也促进了两种技术的互相学习和渗透。MapReduce虽然具有较高的扩展性,但其技术缺乏类似SQL的标准声明性语言,只能依靠底层的编程语言来实现功能。因此,越来越多的数据研究人员开始倾向于两种技术的结合,基于RDBMS的成熟技术,在整个数据分析系统中,RDBMS可以承担数据集市的角色,为大数据分析平台提供原始数据源,而复杂深度的数据分析,则依靠高度可扩展的MapReduce技术完成。深度分析之后的汇总数据和分析结果再重新导入RDBMS,供用户观察和使用。另外,由于MapReduce技术良好的扩展性,可以实现大量数据的在线,即使是历史久远的数据也可以方便找出并进行分析,随着技术的发展再结合新的数据和新的算法,也有利于新知识的发现。
随着全球数据爆炸式的增长,大数据时代已经来临,在庞大的数据量面前,想要获得其中有用信息并加以有效的处理以及分析,这对目前的技术与工具都提出了很大的挑战。面对大数据深度分析的挑战,关系数据库技术虽然日臻成熟,但其扩展性却并不适应大数据的应用要求,并且,SQL的表达能力也不足以进行更加复杂、深入的数据分析。但是,MapReduce技术却刚好可以弥补RDBMS的不足,其良好的扩展性、容错性和并行性,可以随着其性能的不断改进和分析能力的不断增强,在大数据分析的技术体系中占据重要位置。关系数据库技术和MapReduce技术可以在互相竞争、互相学习和互相渗透过程中,发挥各自的优势,弥补不足,从而在大数据时代发挥出更大的作用。大数据的商业价值日益突出,受到广泛关注,在越来越多的领域中都发挥了巨大的影响。但是,在大数据面前,仍旧有着很长的路要走,迫使我们要不断发现存在的缺陷并加以解决,从而更好的让大数据为社会服务。
参考文献:
[1]罗奇.面向对象的数据库技术研究[J].电脑知识与技术,2010,7.
[2]易小华,刘杰,叶丹.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索,2011,2.
[3]王珊,王会举,覃雄派,周烜.架构大数据:挑战、现状与展望[J].计算机学报,2011,10.
[4]李成华,张新访,金海,向文.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学,2011,3.
[5]霍娜.非结构化数据时代下的信息管理之道[N].中国计算机报,2011,4,25.
关键词:互联网;处理;大数据;挑战
中图分类号:TP311文献标识码:A文章编号:1007-9599 (2013) 07-0000-02
1大数据时代的来临
从《纽约时报》网刊的文章起,“大数据”逐渐渗透到我们日常的生活中。文章指出,“大数据时代”已经降临,并对各个领域都造成影响,在商业、经济及其他领域中,决策行为将日益基于数据和分析而作出;在公共卫生、经济发展和经济预测等领域中,“大数据”的预见能力也已经崭露头角。对“大数据”予以如此高的评价,主要源于它的四个特征:
(1)容量大(Volume Big)。数据量已经从TB(1012字节)发展至PB乃至ZB,可称海量、巨量乃至超量。(2)多样性(Variable Type)。数据类型繁多,愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。(3)生成速度快(Velocity Fast)。数据流往往为高速实时数据流,而且往往需要快速、持续的实时处理;处理工具亦在快速演进,软件工程及人工智能等均可介入。(4)价值高(Value High)。以视频安全监控为例,连续不断的监控流中,有重大价值者可能仅为一两秒的数据流;3600全方位视频监控的“死角”处,可能会挖掘出最有价值的图像信息。
基于大数据的四大特征可以看出,需要处理的数据量正急剧膨胀,为了从海量的数据中发现知识并加以利用,甚至指导人们的决策,就必须对这些数据进行深入的分析。最典型的大数据分析技术就是关系数据管理技术(RDBMS)和MapReduce技术。
2RDBMS与MapReduce的简介
2.1RDBMS。关系型数据库管理系统,relational database management system 简称RDBMS,是SQL的基础,也是所有现代数据库系统的基础。在数据库中,数据以表格的形式出现,许多行和列组成一张张表单,再由若干张表单组成database,形成数据库,应用于目前许多企业在线交易处理系统、内部管理系统和客户管理系统中。
2.2MapReduce。MapReduce是一种编程模型,主要用途是大规模数据集(大于1TB)的并行运算,主要思想来源于函数式编程语言以及矢量编程语言。面对杂乱无章的互不相关的数据,Map可以解析每个数据,并从中提取出key以及value,即提取数据的特征,再经过MapReduce的Shuffle阶段之后,在Reduce阶段看到的都是已经归纳好的数据了,在此基础上我们就可以做进一步的处理,以便得到结果。简单的来说,可以这样理解MapReduce:把一堆杂乱无章的数据按照某种特征归纳起来,然后处理并得到最后的结果。该技术最初由Google公司最早在2004年提出并展开应用。
3RDBMS与MapReduce的竞争
RDBMS经历过年的发展,技术已经非常成熟,并广泛应用在在众多领域中,而MapReduce技术随着其性能的提升,并广泛应用于搜索相关的数据分析工作后,迅速的成为了RDBMS的竞争者。
RDBMS的最大优势在于性能。在近几十年的数据库研究中,许多先进的技术手段和算法都不断被引进,如索引、I/O共享、数据压缩、优化的数据连接等,但是在大数据时代,数据转移的方式却会对这些已经成熟的性能造成一定影响,主要原因是关系数据库管理系统在大数据时代,其扩展性遭到了前所未有的障碍,不能很好的胜任大数据分析的要求。总结起来,关系数据管理技术面临“大数据”时代,有如下集中缺陷:并行数据库软件级容错能力较差、并行数据库对异构硬件的支持有限、扩展性有限、数据处理及分析过程涉及大量的数据迁移和计算,分析延迟较高。
当需要处理的数据量达到TB和PB级别时,传统方法已经几乎无法处理数据,而适合处理包括结构化、半结构化和非结构化数据类型的MapReduce则体现出了前所未有的优势。面对超大规模的数据,MapReduce技术可以采用例如Hadoop的创新构架,以使用较低成本的常规服务器存储并处理大量的数据;面对复杂的数据,MapReduce可以分析并存放各种原始数据格式,包括图像数据、多媒体数据、文本数据等;面对新的分析手段,新的算法包括自然语言分析、模式识别等,而MapReduce的思想来源本身就是编程语言,可以高效的与新的算法进行融合,进而对海量的数据进行处理和分析。
下表是针对RDBMS和MapReduce的特点进行的比较:
RDBMS MapReduce
模式 内部支持 外部附加
索引 内部支持 编程实现
数据类型 结构化数据 结构化、半结构化、非结构化数据
编程模型 声明性语言SQL 过程性语言
性能 高 比RDBMS低
灵活性 有限 大
扩展性 上百节点 上千节点
容错性 低,查询重启 高,子任务重新执行
应用范围 在线事务处理、分析处理 批量处理、深度分析
4RDBMS与MapReduce的共生
如同自然界生物的生存存在生态系统一般,数据分析的生态系统也逐渐在大数据时代里发生变化。在RDBMS与MapReduce的竞争同时,也促进了两种技术的互相学习和渗透。MapReduce虽然具有较高的扩展性,但其技术缺乏类似SQL的标准声明性语言,只能依靠底层的编程语言来实现功能。因此,越来越多的数据研究人员开始倾向于两种技术的结合,基于RDBMS的成熟技术,在整个数据分析系统中,RDBMS可以承担数据集市的角色,为大数据分析平台提供原始数据源,而复杂深度的数据分析,则依靠高度可扩展的MapReduce技术完成。深度分析之后的汇总数据和分析结果再重新导入RDBMS,供用户观察和使用。另外,由于MapReduce技术良好的扩展性,可以实现大量数据的在线,即使是历史久远的数据也可以方便找出并进行分析,随着技术的发展再结合新的数据和新的算法,也有利于新知识的发现。
随着全球数据爆炸式的增长,大数据时代已经来临,在庞大的数据量面前,想要获得其中有用信息并加以有效的处理以及分析,这对目前的技术与工具都提出了很大的挑战。面对大数据深度分析的挑战,关系数据库技术虽然日臻成熟,但其扩展性却并不适应大数据的应用要求,并且,SQL的表达能力也不足以进行更加复杂、深入的数据分析。但是,MapReduce技术却刚好可以弥补RDBMS的不足,其良好的扩展性、容错性和并行性,可以随着其性能的不断改进和分析能力的不断增强,在大数据分析的技术体系中占据重要位置。关系数据库技术和MapReduce技术可以在互相竞争、互相学习和互相渗透过程中,发挥各自的优势,弥补不足,从而在大数据时代发挥出更大的作用。大数据的商业价值日益突出,受到广泛关注,在越来越多的领域中都发挥了巨大的影响。但是,在大数据面前,仍旧有着很长的路要走,迫使我们要不断发现存在的缺陷并加以解决,从而更好的让大数据为社会服务。
参考文献:
[1]罗奇.面向对象的数据库技术研究[J].电脑知识与技术,2010,7.
[2]易小华,刘杰,叶丹.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索,2011,2.
[3]王珊,王会举,覃雄派,周烜.架构大数据:挑战、现状与展望[J].计算机学报,2011,10.
[4]李成华,张新访,金海,向文.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学,2011,3.
[5]霍娜.非结构化数据时代下的信息管理之道[N].中国计算机报,2011,4,25.