论文部分内容阅读
摘要：移动互联、社交网络、电子商务极大的拓展了互联网应用的疆界和领域，高速发展的互联网，充斥着海量的各种类型的数据，能够从大量的数据中迅速的收集、处理自己需要的数据，并对这些数据进行高效率的管理，是适应大数据时代必须要迎接的挑战。
关键词：互联网；处理；大数据；挑战
中图分类号：TP311文献标识码：A文章编号：1007-9599 (2013) 07-0000-02
1大数据时代的来临
从《纽约时报》网刊的文章起，“大数据”逐渐渗透到我们日常的生活中。文章指出，“大数据时代”已经降临，并对各个领域都造成影响，在商业、经济及其他领域中，决策行为将日益基于数据和分析而作出；在公共卫生、经济发展和经济预测等领域中，“大数据”的预见能力也已经崭露头角。对“大数据”予以如此高的评价，主要源于它的四个特征：
（1）容量大（Volume Big）。数据量已经从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。（2）多样性（Variable Type）。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。（3）生成速度快（Velocity Fast）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可介入。（4）价值高（Value High）。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；3600全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。
基于大数据的四大特征可以看出，需要处理的数据量正急剧膨胀，为了从海量的数据中发现知识并加以利用，甚至指导人们的决策，就必须对这些数据进行深入的分析。最典型的大数据分析技术就是关系数据管理技术（RDBMS）和MapReduce技术。
2RDBMS与MapReduce的简介
2.1RDBMS。关系型数据库管理系统，relational database management system 简称RDBMS，是SQL的基础，也是所有现代数据库系统的基础。在数据库中，数据以表格的形式出现，许多行和列组成一张张表单，再由若干张表单组成database，形成数据库，应用于目前许多企业在线交易处理系统、内部管理系统和客户管理系统中。
2.2MapReduce。MapReduce是一种编程模型，主要用途是大规模数据集（大于1TB）的并行运算，主要思想来源于函数式编程语言以及矢量编程语言。面对杂乱无章的互不相关的数据，Map可以解析每个数据，并从中提取出key以及value，即提取数据的特征，再经过MapReduce的Shuffle阶段之后，在Reduce阶段看到的都是已经归纳好的数据了，在此基础上我们就可以做进一步的处理，以便得到结果。简单的来说，可以这样理解MapReduce：把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。该技术最初由Google公司最早在2004年提出并展开应用。
3RDBMS与MapReduce的竞争
RDBMS经历过年的发展，技术已经非常成熟，并广泛应用在在众多领域中，而MapReduce技术随着其性能的提升，并广泛应用于搜索相关的数据分析工作后，迅速的成为了RDBMS的竞争者。
RDBMS的最大优势在于性能。在近几十年的数据库研究中，许多先进的技术手段和算法都不断被引进，如索引、I/O共享、数据压缩、优化的数据连接等，但是在大数据时代，数据转移的方式却会对这些已经成熟的性能造成一定影响，主要原因是关系数据库管理系统在大数据时代，其扩展性遭到了前所未有的障碍，不能很好的胜任大数据分析的要求。总结起来，关系数据管理技术面临“大数据”时代，有如下集中缺陷：并行数据库软件级容错能力较差、并行数据库对异构硬件的支持有限、扩展性有限、数据处理及分析过程涉及大量的数据迁移和计算，分析延迟较高。
当需要处理的数据量达到TB和PB级别时，传统方法已经几乎无法处理数据，而适合处理包括结构化、半结构化和非结构化数据类型的MapReduce则体现出了前所未有的优势。面对超大规模的数据，MapReduce技术可以采用例如Hadoop的创新构架，以使用较低成本的常规服务器存储并处理大量的数据；面对复杂的数据，MapReduce可以分析并存放各种原始数据格式，包括图像数据、多媒体数据、文本数据等；面对新的分析手段，新的算法包括自然语言分析、模式识别等，而MapReduce的思想来源本身就是编程语言，可以高效的与新的算法进行融合，进而对海量的数据进行处理和分析。
下表是针对RDBMS和MapReduce的特点进行的比较：
RDBMS MapReduce
模式 内部支持 外部附加
索引 内部支持 编程实现
数据类型 结构化数据 结构化、半结构化、非结构化数据
编程模型 声明性语言SQL 过程性语言
性能 高 比RDBMS低
灵活性 有限 大
扩展性 上百节点 上千节点
容错性 低，查询重启 高，子任务重新执行
应用范围 在线事务处理、分析处理 批量处理、深度分析
4RDBMS与MapReduce的共生
如同自然界生物的生存存在生态系统一般，数据分析的生态系统也逐渐在大数据时代里发生变化。在RDBMS与MapReduce的竞争同时，也促进了两种技术的互相学习和渗透。MapReduce虽然具有较高的扩展性，但其技术缺乏类似SQL的标准声明性语言，只能依靠底层的编程语言来实现功能。因此，越来越多的数据研究人员开始倾向于两种技术的结合，基于RDBMS的成熟技术，在整个数据分析系统中，RDBMS可以承担数据集市的角色，为大数据分析平台提供原始数据源，而复杂深度的数据分析，则依靠高度可扩展的MapReduce技术完成。深度分析之后的汇总数据和分析结果再重新导入RDBMS，供用户观察和使用。另外，由于MapReduce技术良好的扩展性，可以实现大量数据的在线，即使是历史久远的数据也可以方便找出并进行分析，随着技术的发展再结合新的数据和新的算法，也有利于新知识的发现。
随着全球数据爆炸式的增长，大数据时代已经来临，在庞大的数据量面前，想要获得其中有用信息并加以有效的处理以及分析，这对目前的技术与工具都提出了很大的挑战。面对大数据深度分析的挑战，关系数据库技术虽然日臻成熟，但其扩展性却并不适应大数据的应用要求，并且，SQL的表达能力也不足以进行更加复杂、深入的数据分析。但是，MapReduce技术却刚好可以弥补RDBMS的不足，其良好的扩展性、容错性和并行性，可以随着其性能的不断改进和分析能力的不断增强，在大数据分析的技术体系中占据重要位置。关系数据库技术和MapReduce技术可以在互相竞争、互相学习和互相渗透过程中，发挥各自的优势，弥补不足，从而在大数据时代发挥出更大的作用。大数据的商业价值日益突出，受到广泛关注，在越来越多的领域中都发挥了巨大的影响。但是，在大数据面前，仍旧有着很长的路要走，迫使我们要不断发现存在的缺陷并加以解决，从而更好的让大数据为社会服务。
参考文献：
[1]罗奇.面向对象的数据库技术研究[J].电脑知识与技术,2010,7.
[2]易小华,刘杰,叶丹.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索,2011,2.
[3]王珊,王会举,覃雄派,周烜.架构大数据：挑战、现状与展望[J].计算机学报,2011,10.
[4]李成华,张新访,金海,向文.MapReduce：新型的分布式并行计算编程模型[J].计算机工程与科学,2011,3.
[5]霍娜.非结构化数据时代下的信息管理之道[N].中国计算机报,2011,4,25.
关键词：互联网；处理；大数据；挑战
中图分类号：TP311文献标识码：A文章编号：1007-9599 (2013) 07-0000-02
1大数据时代的来临
从《纽约时报》网刊的文章起，“大数据”逐渐渗透到我们日常的生活中。文章指出，“大数据时代”已经降临，并对各个领域都造成影响，在商业、经济及其他领域中，决策行为将日益基于数据和分析而作出；在公共卫生、经济发展和经济预测等领域中，“大数据”的预见能力也已经崭露头角。对“大数据”予以如此高的评价，主要源于它的四个特征：
（1）容量大（Volume Big）。数据量已经从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。（2）多样性（Variable Type）。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。（3）生成速度快（Velocity Fast）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可介入。（4）价值高（Value High）。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；3600全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。
基于大数据的四大特征可以看出，需要处理的数据量正急剧膨胀，为了从海量的数据中发现知识并加以利用，甚至指导人们的决策，就必须对这些数据进行深入的分析。最典型的大数据分析技术就是关系数据管理技术（RDBMS）和MapReduce技术。
2RDBMS与MapReduce的简介
2.1RDBMS。关系型数据库管理系统，relational database management system 简称RDBMS，是SQL的基础，也是所有现代数据库系统的基础。在数据库中，数据以表格的形式出现，许多行和列组成一张张表单，再由若干张表单组成database，形成数据库，应用于目前许多企业在线交易处理系统、内部管理系统和客户管理系统中。
2.2MapReduce。MapReduce是一种编程模型，主要用途是大规模数据集（大于1TB）的并行运算，主要思想来源于函数式编程语言以及矢量编程语言。面对杂乱无章的互不相关的数据，Map可以解析每个数据，并从中提取出key以及value，即提取数据的特征，再经过MapReduce的Shuffle阶段之后，在Reduce阶段看到的都是已经归纳好的数据了，在此基础上我们就可以做进一步的处理，以便得到结果。简单的来说，可以这样理解MapReduce：把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。该技术最初由Google公司最早在2004年提出并展开应用。
3RDBMS与MapReduce的竞争
RDBMS经历过年的发展，技术已经非常成熟，并广泛应用在在众多领域中，而MapReduce技术随着其性能的提升，并广泛应用于搜索相关的数据分析工作后，迅速的成为了RDBMS的竞争者。
RDBMS的最大优势在于性能。在近几十年的数据库研究中，许多先进的技术手段和算法都不断被引进，如索引、I/O共享、数据压缩、优化的数据连接等，但是在大数据时代，数据转移的方式却会对这些已经成熟的性能造成一定影响，主要原因是关系数据库管理系统在大数据时代，其扩展性遭到了前所未有的障碍，不能很好的胜任大数据分析的要求。总结起来，关系数据管理技术面临“大数据”时代，有如下集中缺陷：并行数据库软件级容错能力较差、并行数据库对异构硬件的支持有限、扩展性有限、数据处理及分析过程涉及大量的数据迁移和计算，分析延迟较高。
当需要处理的数据量达到TB和PB级别时，传统方法已经几乎无法处理数据，而适合处理包括结构化、半结构化和非结构化数据类型的MapReduce则体现出了前所未有的优势。面对超大规模的数据，MapReduce技术可以采用例如Hadoop的创新构架，以使用较低成本的常规服务器存储并处理大量的数据；面对复杂的数据，MapReduce可以分析并存放各种原始数据格式，包括图像数据、多媒体数据、文本数据等；面对新的分析手段，新的算法包括自然语言分析、模式识别等，而MapReduce的思想来源本身就是编程语言，可以高效的与新的算法进行融合，进而对海量的数据进行处理和分析。
下表是针对RDBMS和MapReduce的特点进行的比较：
RDBMS MapReduce
模式 内部支持 外部附加
索引 内部支持 编程实现
数据类型 结构化数据 结构化、半结构化、非结构化数据
编程模型 声明性语言SQL 过程性语言
性能 高 比RDBMS低
灵活性 有限 大
扩展性 上百节点 上千节点
容错性 低，查询重启 高，子任务重新执行
应用范围 在线事务处理、分析处理 批量处理、深度分析
4RDBMS与MapReduce的共生
如同自然界生物的生存存在生态系统一般，数据分析的生态系统也逐渐在大数据时代里发生变化。在RDBMS与MapReduce的竞争同时，也促进了两种技术的互相学习和渗透。MapReduce虽然具有较高的扩展性，但其技术缺乏类似SQL的标准声明性语言，只能依靠底层的编程语言来实现功能。因此，越来越多的数据研究人员开始倾向于两种技术的结合，基于RDBMS的成熟技术，在整个数据分析系统中，RDBMS可以承担数据集市的角色，为大数据分析平台提供原始数据源，而复杂深度的数据分析，则依靠高度可扩展的MapReduce技术完成。深度分析之后的汇总数据和分析结果再重新导入RDBMS，供用户观察和使用。另外，由于MapReduce技术良好的扩展性，可以实现大量数据的在线，即使是历史久远的数据也可以方便找出并进行分析，随着技术的发展再结合新的数据和新的算法，也有利于新知识的发现。
随着全球数据爆炸式的增长，大数据时代已经来临，在庞大的数据量面前，想要获得其中有用信息并加以有效的处理以及分析，这对目前的技术与工具都提出了很大的挑战。面对大数据深度分析的挑战，关系数据库技术虽然日臻成熟，但其扩展性却并不适应大数据的应用要求，并且，SQL的表达能力也不足以进行更加复杂、深入的数据分析。但是，MapReduce技术却刚好可以弥补RDBMS的不足，其良好的扩展性、容错性和并行性，可以随着其性能的不断改进和分析能力的不断增强，在大数据分析的技术体系中占据重要位置。关系数据库技术和MapReduce技术可以在互相竞争、互相学习和互相渗透过程中，发挥各自的优势，弥补不足，从而在大数据时代发挥出更大的作用。大数据的商业价值日益突出，受到广泛关注，在越来越多的领域中都发挥了巨大的影响。但是，在大数据面前，仍旧有着很长的路要走，迫使我们要不断发现存在的缺陷并加以解决，从而更好的让大数据为社会服务。
参考文献：
[1]罗奇.面向对象的数据库技术研究[J].电脑知识与技术,2010,7.
[2]易小华,刘杰,叶丹.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索,2011,2.
[3]王珊,王会举,覃雄派,周烜.架构大数据：挑战、现状与展望[J].计算机学报,2011,10.
[4]李成华,张新访,金海,向文.MapReduce：新型的分布式并行计算编程模型[J].计算机工程与科学,2011,3.
[5]霍娜.非结构化数据时代下的信息管理之道[N].中国计算机报,2011,4,25.