云计算及关键技术研究

来源 :数字化用户 | 被引量 : 0次 | 上传用户:yanhsy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  【摘 要】云计算是互联网时代商业模式上的创新,被看作是信息产业的第三次革命。目前,越来越多的学者和公司都在研究云计算技术。本文阐述了云计算的概念、特点以及工作原理;在此基础之上,介绍了云计算发展过程中的关键技术:虚拟机技术、数据管理技术、数据存储技术和编程模式;最后,对云计算的应用进行了展望。
  【关键字】云计算 虚拟机技术 数据管理技术 数据存储技术 编程模式
  随着计算机技术和网络技术的发展,尤其是Web2.0技术的发展,网络用户在互联网时代处理的数据量日益增加,并且希望计算机处理和存储大量数据的速度越来越快。此时,就需要从不断加大系统硬件投入和网络资源的整合优化等方面入手,以此提高系统的可扩展性,满足不同用户对数据存储和处理能力的需求。为了能够使网络资源得到有效的利用,同时能够降低硬件开发成本,云计算在此背景之下被提出。
  云计算是并行计算、分布式计算、效用计算、虚拟化、网络存储、负载均衡等传统计算机和网络技术发展融合的产物。云计算把互联网变成一种全新的数据处理平台,将会对互联网的技术基础产生巨大的革新,被视为信息产业的第三次革命。它将带来工作方式和商业模式的根本性改变,有着非常广阔的应用前景,正逐步被业界认可接受。目前,谷歌、微软IBM等IT界国际巨头以及百度、阿里等国内业界都在研究云计算技术和基于云计算的服务。2013年,在中国云计算已经在政府、电信、金融、石油石化、教育和电力行业得到了广泛的应用。
  一、云计算概述
  (一)云计算的概念
  目前,云计算还处于研究阶段,云计算概念是由Google提出的,这是一个美丽的网络应用模式。对于云计算的概念和内涵,业界还没有一个共识,众说纷纭。下面给出两种比较权威的定义:
  1.美国国家标准与技术研究院(NIST)定义:云计算是一种能够提供可用的、便捷的、按使用量付费的、按需访问网络的模式,能够快速提供可配置的计算机资源(包括网络,服务器,存储,应用软件,服务等等),而实现这些功能,则只需要投入少量的管理工作。
  2.Google定义:云计算是一种基于互联网的,可以按需为计算机、其他设备以及大众用户提供软硬件资源、信息和服务的计算方式。
  本文认为云计算是技术和商业模式上的创新,就是通过构建高性能的专业服务器,即一个云计算平台,形成一个近乎无限量的存储空间,能够迅速地处理各类计算,较单台计算机的处理能力大大提升,很好地解决大数据的存储和计算问题,同时,充分使用网络资源实现数据共享等。本质上,云计算归根结底还是为数据服务的。
  (二)云计算的特点
  虽然对于云计算概念,学术界还没有给出明确的定义。但是,云计算为客户提供的服务应该具备以下特点:
  1.支持虚拟化。为了提高网络资源的利用率,通过在一个服务器上部署多个虚拟机和应用,根据消费者的需求动态划分或释放不同的虚拟资源,实现IT资源利用的可扩展性。
  2.随需自助服务。云计算系统是一个自治系统,为客户提供自助化的资源服务,即自动资源调配,用户无需同提供商交互就可以根据自己的需求选择相应的云服务,从而使服务效率成倍增加。
  3.以网络为中心。云计算是通过网络向用户提供各种服务,借助于网络实现数据和资源的共享。同时用户可通过终端设备连接网络实现对网络资源的访问以此获取云服务,从而使得云计算的服务无处不在。
  4.服务可计量化。云计算系统在为用户提供云服务过程中,针对客户不同的服务类型,智能规划容量,自动控制和优化资源配置,通过即付即用的方法来建立完整的IT计费模型。
  5.资源的池化和透明化。对云服务的提供者即运营商而言,各种底层资源成为所谓的资源池即新的组织结构,被统一管理和调度,提供满足用户不同需求的云服务;对用户而言,在获取这些资源之后,由于资源是透明的,无限大的,用户无须了解内部结构,只关心自己的需求是否得到满足即可。
  (三)云计算的体系结构
  云计算的体系结构如图1所示,主要从云计算的技术体系和服务层次关系两方面来阐述。
  云计算技术体系结构分为四层:物理资源层、资源池层、管理中间件层和SOA构建层。物理资源层主要提供物理设施服务,汇聚支撑云计算上层服务的各种物理设备,如服务器、网络设备、存储设备等;资源池层是把相同类型的资源构成同构的资源池,如计算资源池、存储资源池等;管理中间件层负责系统的全部软、硬件资源的分配、任务调度、管理等。SOA构建层将Web Services服务纳入到SOA体系进行管理和使用等。
  美国国家标准和技术研究院的云计算定义中明确了三种服务模式:
  软件即服务(SaaS):是一种服务观念的基础,消费者使用应用程序,但并不掌控操作系统、硬件或运作的网络基础架构。
  平台即服务(PaaS):是应用程序基础架构,消费者使用主机掌控运作应用程序的环境和操作应用程序,但并不掌控操作系统、硬件或运作的网络基础架构。
  基础架构即服务(IaaS):消费者使用“基础计算资源”,能掌控操作系统、存储空间、已部署的应用程序及网络组件,但并不掌控云基础架构。
  二、云计算关键技术
  云计算能够迅速地处理各类计算,很好地解决大数据的存储和计算问题,是为数据服务的。云计算涉及了许多技术,包括虚拟机技术、Web2.0技术、数据管理、技术数据存储技术、并发控制技术、编程模式、系统管理、并行计算与并行算法、云计算等等,其中虚拟机技术、数据管理技术、数据存储技术和编程模式最为关键。
  (一)虚拟机技术
  虚拟化技术是为了能够扩大硬件的容量和灵活性,计算机元器件在一个虚拟的环境中运行,用软件的方法模拟其它操作系统的硬件,可以不需要连接具体的物理服务器的情况下进行软件的开发、配置、管理和部署等,从而提高服务效率,能够支持更广泛的操作系统。虚拟化是云计算的核心特征,同时,云计算是虚拟化技术的最高境界。   在云计算系统中,云计算将每一个层次的功能模块化并且封装成为抽象实体,构建一个动态数据中心,实现软件应用与底层硬件相隔离。云计算要想对用户提供各层次的云服务,就需要依靠云计算计算机系统的虚拟化。虚拟化技术能够提供一个具有服务器,该服务器中的应用程序、网络资源和数据的处理、计算、存储的关系可根据使用要求动态的变化,提高服务效率,从而能够高效的为用户提高各种服务。用户也不需要关心云端是如何处理数据如何存储数据,就使用云计算能够提供的各种云服务。
  其中,当前在云计算平台中应用最为广泛的虚拟化技术主要有Xen虚拟机技术以及KVM虚拟机技术。Xen虚拟机技术是一个基于开源软件组织的虚拟机监控器(即 Virtual Machine Monitor 简称 VMM),可以允许在单一的物理机器上同时运行多个操作系统实例,是OpenSuse和Novell主要支持的虚拟化技术。Xen早期则是基于软件模拟的Para-Virtualization,新版本则是基于硬件支持的完全虚拟化,其需要的源代码比较多。KVM虚拟机技术是一种用于Linux内核中的虚拟化基础设施,KVM目前支持Intel VT及AMD-V的原生虚拟技术。它使用Linux自身的调度器进行管理,需要硬件支持,是基于硬件的完全虚拟化,所以相对于Xen,其核心源码很少。KVM目前已成为学术界的主流VMM之一。
  (二)数据管理技术
  数据管理技术具体就是指人们对数据进行收集、组织、存储、加工、传播和利用的一系列活动的总和。在云计算系统中,需要对海量数据进行计算、海量的数据存储、读取后进行大量的分析以及在规模巨大的数据中找到特定的数据等。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。
  BigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种压缩、高效的的数据库。BigTable的设计目的是可靠的处理PB级别的数据,并且能够部署到上千台机器上。BigTable使用了很多数据库的实现策略,同时能够为客户提供了简单的数据模型,客户利用这个模型可以动态控制数据的分布和格式。BigTable把所有数据都作为对象来处理,通过仔细选择数据的模式,客户可以动态地控制数据的表现形式,并且能够来控制数据存放在内存中或者硬盘上。HBase是一个分布式的、面向列的开源数据库。BigTable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似BigTable的分布式数据库。HBase利用Hadoop HDFS作为其文件存储系统和利用Hadoop MapReduce来处理HBase中的海量数据,能够支持数据密集型分布式。
  (三)数据存储技术
  当云计算系统处理、存储和管理大量数据时,就需要大容量的存储空间。云计算采用冗余存储的方式,来解决大数据问题,该方式具有数据处理能力强和传输迅速的优点。另外,云计算系统需要面对数量众多的用户,并为其提供大量的服务。因此,云计算计算需要具有高吞吐率和高传输率的特点的数据存储技术。目前,云计算的数据存储技术主要有 Hadoop开发团队开发的GFS的开源实现HDFS和Google的非开源的文件系统,大部分的运行商较多的采用的是HDFS。
  HDFS被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统,适合那些有着超大数据集的应用程序。HDFS是一个的主从结构,一个HDFS集群是由一个名字节点和一些数据节点。HDFS是用Java实现的,任何支持java的机器都可以运行名字节点或数据节点,利用java语言的超轻便型,很容易将HDFS部署到大范围的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
  GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用,Google公司为了满足其需求而开发的基于Linux的专有分布式文件系统。GFS采用冗余存储的方式,专门为Google的核心数据即页面搜索的存储进行了优化,用于保存搜索引擎所产生的大量数据。数据使用大量的巨型文件持续存储,而这些文件极少被删除、覆盖或者减小,通常以读为主,具有非常高的吞吐率。
  (四)编程模式
  为了使用户能更轻松地享受云计算带来的服务,云计算采用类似Map/Reduce的编程模式。MapReduce是Google提出的一个软件架构,用于大规模数据集的并行运算。它由称为map和reduce的两部分用户程序组成,然后利用框架在计算机集群上面根据需求运行多个程序实例来处理各个子任务,然后再对结果进行归并。Map程序从输入流中读取一组记录,然后对记录进行需要的过滤或者转换,然后输出一组记录。当map程序生成输出记录时,一个分割方法将记录切分成M片,分析其键值对并将其传递给用户定义的映射函数。然后,将根据它们的键值编组然后提供给reduce程序,对它们进行排序,使得相同键的键值对聚集在一起,针对键值它将对应的一组中间值传给用户的化简函数,Reduce最终输出一个文件。当所有映射和化简任务完成后,主节点则会通知用户程序。此时,用户程序中的 MapReduce 调用返回到用户代码。
  三、存在的问题
  云计算带给人们前所未有的高性能计算预期。企业或个人在将数据放到“云”上之前,可扩展性、可用性、可靠性、可管理性应该是人们首要考虑的问题。此外,云计算架构于互联网之上,云计算的关键技术和安全性问题更是亟待解决,如病毒、木马的入侵、隐私信息的泄漏、软硬件设备造成的网络中断等,新的安全问题也将浮出水面,如因过度依赖外部资源造成的不可控问题、网络遭受外力造成数据中心不可用等。
  四、结论
  云计算是信息时代商业模式上的创新,被已经成为下一代IT的发展趋势。但是,关于云计算系统的可扩展性、可用性、可靠性、可管理性以及数据安全和隐私问题等方面的研究仍显不足,需要进一步的探索。随着云计算关键技术的攻克,个人用户云端漫步的日子也不会太远了。本文首先介绍了云计算的基本概念、特征以及体系结构,在此基础之上,分析了云计算系统中的关键技术,并指出了云计算发展过程中的问题,为进一步研究指明了方向。
  参考文献:
  [1]孟小峰慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,(01)
  [2]龚强.云计算应用展望与思考[J].信息技术,2013,(01):1-4+8.
  [3]曾文英,赵跃龙,尚敏.云计算及云存储生态系统研究[J].计算机研究与发展,2011,(S1):234-239.
  [4]张景云,蒋念平,付东翔.云计算的发展与应用[J].微计算机信息,2012,(01):98-100.
  [5]吴广君,王树鹏,陈明,李超.海量结构化数据存储检索系统[J].计算机研究与发展,2012,(S1):1-5.
  [6]刘正伟,文中领,张海涛.云计算和云数据管理技术[J].计算机研究与发展,2012,(S1):26-31.
  [7]梁彪,曹宇佶,秦中元,张群芳.云计算下的数据存储安全可证明性综述[J].计算机应用研究,2012,(07):2416-2421.
  [8]刘玮,王丽宏.云计算应用及其安全问题研究[J].计算机研究与发展,2012,(S2):186-191.
其他文献
【摘 要】AlphaCom XE系统是基于IP最新技术开发出的先进的数字交换系统,采用AlphaCom XE内部通讯调度交换机以及调度系统专用终端,可提供质量极佳的音质。  【关键词】AlphaCom XE IP 数字交换  一、引言  AlphaCom XE系统是为解决专业调度通信需求而度身设计的全数字系统. 所有的音频信号都采用了一种改进后的∑-△调制,从而得到极好的音质。音频频宽为40Hz-
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
用高频悬浮炉熔炼了Gd4(BixSb1-x)3系列合金,利用X光粉末衍射技术确定其结构.在1.3T的磁场下,利用自制的△Tad-T曲线测量仪直接测量了该系列合金的磁热效应.发现Gd4(BixSb1-x
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
期刊
针对小湾拱坝的施工现状,考虑了混凝土的热学参数及边界条件历时过程、混凝土浇筑过程以及通水冷却措施等因素,应用瞬态热传导三维有限元分析方法对拱坝施工期的温度场进行动
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
字蓊白;号琴堂;居北京。四川大学艺术学院博士研究生,师从胡抗美先生。中国民主同盟盟员,中国书法家协会会员,中央国家机关美术家协会理事,兰山印社社员。少年时代先后受教于陇上名家骆石华先生,范有信先生,郑铁林先生。后学习于中国美术学院书法系和现代书法研究中心。获得中国艺术研究院文学硕士学位,中国艺术研究院优秀毕业生、庄汉生奖学金。现为北京大学、中国人民大学、中国国家画院胡抗美曾翔书法工作室助教。  编
三峡水库运用后,从三口进入湖区的水沙将会在中枯水期发生一定的变化,对草尾河航道产生一定影响.利用三口分流以及城陵矶水位研究的最新成果,计算蓄水20 a后进入该河段水沙的
【摘 要】近年来,我国的经济科技等各个方面的迅速发展,为我国的科学技术发展进步提供了条件,这也影响着我国的电视业的发展及壮大。广播电视技术的数字化、信息化、现代化是国际发展趋势,我国也不例外,加快网络化数字化广播电视技术的进步势在必行。本文就网络数字化广播电视技术的应用做了简要分析。  【关键词】网络化 数字化 广播电视 应用优势  一 、数字化广播电视技术的起源及发展  我国传统的电视节目,都是