论文部分内容阅读
摘要:介绍了现有的云计算定义和特点,分析了两种新型技术:GFS和BigTable,介绍了当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析。指出了云计算未来发展的美好前景。
关键字:云计算GFSBigtable数据存储
中图分类号:C37文献标识码: A
0 绪论
云计算是一种新近提出的计算模式,是分布式计算、并行计算和网格计算的发展。在各大企业以及学术界的共同推动下,在大数据时代,云计算融合物联网将进一步推动数据价值的挖掘,促进产业爆发。
1 云计算
1.1对云的定义
云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
1.2云计算的基本原理
通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。
1.3云计算的特点
1.3.1虚拟化
云计算支持用户在任 意位置使用各种终端获取服务。
1.3.2极其廉价
“云”的特殊容错措施使得可以采用极其廉价的节点来构成云。所以云计算造价低廉。
1.3.3高层次的编程模型
用户通过简单学习,就可以编写自己的云计算程序,在“云”系统上执行,满足自己的需求。
1.3.4高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。
1.3.5按需服务
“云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。
2云计算的体系架构
2.1 核心服务层
基础设施即服务层(IaaS)、平台即服务层(PaaS)、软件即服务层(SaaS)。
IaaS提供硬件基础设施部署服务,为用户按需提供实体或虚拟的计算、存储和网络等资源。
PaaS是云计算应用程序运行环境,提供应用程序部署和管理服务。
SaaS是基于云计算基础平台所开发的应用程序。
2.2服务管理层
服务管理层对核心服务层的可用性、可靠性和安全性提供保障。云计算服务提供商需和用户进行协商,并制定服务水平协议(SLA),使得双方对服务质量的需求达成一致。
2.3用户访问接口层
用戶访问接口层实现了云计算服务的泛在访问,通常包括命令行、web服务、web门户等形式。
3云计算的关键技术
3.1数据存储技术
为保证高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性。云计算的数据存储技术主要有GFS和HDFS。
GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据。在GFS文件系统中,采用冗余存储的方式来保证数据的可靠性。为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行。GFS与传统分布式文件系统的区别在于将写操作控制信号与数据流区分开。
3.2数据管理技术
BigTable是一个很庞大的表,它将所有数据都作为对象来处理,形成一个巨大的表格。有很多Google的应用程序建立在BigTable之上,基于BigTable模型实现的Hadoop Hbase也在逐渐发挥作用。
是一个稀疏的、多维的和排序的Map,每个单元格由行关键字、列关键字和时间戳来进行三维定位。在任意时刻每个Tablet只被分配到Tablet服务器。依靠一个master服务器监视子表server的负载情况,根据所有子表服务器的负载情况进行数据迁移。
4 结语
云计算的出现给人们的生活带来很大的便捷,使用某个软件时无需耗费大量的资金进行购买,而是利用云上虚拟机,以租赁的方式进行使用。在各大企业和各大高校的推动下,云计算具有十分广阔的发展前景。
参考文献
[1]张金玉.狄卫华基于云平台的建设工程项目招标评标模式的探讨[期刊论文]-项目管理技术 2013(5)
[2]张程基于云计算的荆门烟草信息系统优化[期刊论文]-中国科技信息2013(24)
[3]陶姿邑.毕善为基于云计算的虚拟计算实验室[期刊论文]-信息技术 2013(8)
[4]陈全.邓倩妮.云计算及其关键技术[期刊论文]-计算机应用 2009(9)
关键字:云计算GFSBigtable数据存储
中图分类号:C37文献标识码: A
0 绪论
云计算是一种新近提出的计算模式,是分布式计算、并行计算和网格计算的发展。在各大企业以及学术界的共同推动下,在大数据时代,云计算融合物联网将进一步推动数据价值的挖掘,促进产业爆发。
1 云计算
1.1对云的定义
云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
1.2云计算的基本原理
通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。
1.3云计算的特点
1.3.1虚拟化
云计算支持用户在任 意位置使用各种终端获取服务。
1.3.2极其廉价
“云”的特殊容错措施使得可以采用极其廉价的节点来构成云。所以云计算造价低廉。
1.3.3高层次的编程模型
用户通过简单学习,就可以编写自己的云计算程序,在“云”系统上执行,满足自己的需求。
1.3.4高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。
1.3.5按需服务
“云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。
2云计算的体系架构
2.1 核心服务层
基础设施即服务层(IaaS)、平台即服务层(PaaS)、软件即服务层(SaaS)。
IaaS提供硬件基础设施部署服务,为用户按需提供实体或虚拟的计算、存储和网络等资源。
PaaS是云计算应用程序运行环境,提供应用程序部署和管理服务。
SaaS是基于云计算基础平台所开发的应用程序。
2.2服务管理层
服务管理层对核心服务层的可用性、可靠性和安全性提供保障。云计算服务提供商需和用户进行协商,并制定服务水平协议(SLA),使得双方对服务质量的需求达成一致。
2.3用户访问接口层
用戶访问接口层实现了云计算服务的泛在访问,通常包括命令行、web服务、web门户等形式。
3云计算的关键技术
3.1数据存储技术
为保证高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性。云计算的数据存储技术主要有GFS和HDFS。
GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据。在GFS文件系统中,采用冗余存储的方式来保证数据的可靠性。为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行。GFS与传统分布式文件系统的区别在于将写操作控制信号与数据流区分开。
3.2数据管理技术
BigTable是一个很庞大的表,它将所有数据都作为对象来处理,形成一个巨大的表格。有很多Google的应用程序建立在BigTable之上,基于BigTable模型实现的Hadoop Hbase也在逐渐发挥作用。
是一个稀疏的、多维的和排序的Map,每个单元格由行关键字、列关键字和时间戳来进行三维定位。在任意时刻每个Tablet只被分配到Tablet服务器。依靠一个master服务器监视子表server的负载情况,根据所有子表服务器的负载情况进行数据迁移。
4 结语
云计算的出现给人们的生活带来很大的便捷,使用某个软件时无需耗费大量的资金进行购买,而是利用云上虚拟机,以租赁的方式进行使用。在各大企业和各大高校的推动下,云计算具有十分广阔的发展前景。
参考文献
[1]张金玉.狄卫华基于云平台的建设工程项目招标评标模式的探讨[期刊论文]-项目管理技术 2013(5)
[2]张程基于云计算的荆门烟草信息系统优化[期刊论文]-中国科技信息2013(24)
[3]陶姿邑.毕善为基于云计算的虚拟计算实验室[期刊论文]-信息技术 2013(8)
[4]陈全.邓倩妮.云计算及其关键技术[期刊论文]-计算机应用 2009(9)