论文部分内容阅读
摘要:网格计算是一种新型的分布计算技术。文章介绍了网格系统的概念、特点、功能,阐述了网格的体系结构。并对网格计算技术的应用前景作了分析。
关键词:网格;网格计算;网格体系结构
中图分类号:TP393文献标识码:A 文章编号:1009-3044(2007)17-31236-02
Research and Application of Grid Computing
JIA Yu-gang
(The Computer Department of Yichun Vocation College,Yichun 153000,China)
Abstract:Grid computing is growing more successful in distributed computing. The paper introduces the grid concept,characteristics and its functions,expounds the grid architecture.And the application prospect of the grid computing technology is analyzed.
Key words:Grid; Grid computing; Grid architecture
1 引言
现代社会由于大规模的科学和工程计算的需求,迫使计算机必须不断地提高其运算速度和存储容量。计算机的发展历史表明,为了达到更好的处理性能,除了必须提高系统的硬件的速度外,系统的结构也必须不断改进,特别是当元器件的速度达到极限时,后者将变成焦点问题。于是,超级并行机已经成为复杂科学计算领域的主宰。但以超级计算机为中心的计算模式存在明显的不足,而且目前正在经受挑战。超级计算机虽然是一台处理能力强大的“巨无霸”,但它的造价极其昂贵,通常只有一些国家级的部门,如航天、军事、气象等部门才有能力配置这样的设备。而随着人们在日常工作遇到的商业计算越来越复杂,人们迫切需要数据处理能力更强大的计算机,而超级计算机的价格显然阻止了它进入普通人的工作领域。于是,人们开始寻找一种造价低廉而数据处理能力超强的计算模式,最终科学家们经过努力找到了答案——Grid Computing(网格计算)。
2 网格计算定义
网格计算是伴随着互联网而迅速发展起来的专门针对复杂科学计算的新型计算模式,这种计算模式利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级计算机。其中每一台参与计算的计算机就是一个节点,而整个计算是由成千上万个节点组成的一张网格,所以这种计算方式叫网格计算。这样组织起来的虚拟超级计算机有三个优势:一是数据处理能力超强;二是能充分利用网上的闲置处理能力;三是价格相对于超级计算机低廉。
根据Larry Smarr的描述,网格计算系统是一种无缝、集成的计算和协作环境。按照网格提供的功能,网格可分为两类:计算网格(Computational grid)和存储网格(Access Grid)。计算网格可以提供虚拟的、无限制的计算和分布数据资源,而存储网格则提供一个合作环境。
3 网格计算的特点
由于网格计算是网络环境下多个节点参与的计算模式,因此它主要有以下特点:
(1)分布与共享网格的分布是指网格系统是由分布在地理位置互不相同的资源组成的。共享是指网格上的任何资源都可以提供给网格上的使用者使用。
(2)自相似性网格的局部和整体之间存在着一定的相似性,局部具有全局的某些特征,全局体现局部的特征。
(3)动态性与多样性网格的资源不是一成不变的,随着时间的推移,网格资源会动态增加或动态减少。网格资源是异构和多样的。
(4)自治性与管理的多重性网格允许资源拥有者对他的资源有自主的管理能力,而且资源也受到网格的统一管理,但是资源拥有者的管理权限高于网格管理。
4 网格的功能
网格计算环境要求不影响各结点本地的管理和自主性,不改变原有的操作系统、网络协议和服务,保证用户和远程结点的安全性,允许远程结点选择加入或退出系统,尽量使用已存在的标准的技术,以便与已有的应用兼容,并能提供可靠的容错机制。一个理想的网格计算应类似当前的Web服务,可以构建在当前所有硬件和软件平台上,给用户提供完全透明的计算环境。对用户而言,它把众多同、异构的资源变成了同构的虚拟计算环境。为此,网格计算环境设计需要有以下主要功能:管理层次:确定管理层次体系,管理域按区域层次划分,决定管理信息流的流向; 通信服务:随应用目的的不同提供不同的服务,包括可靠的点对点和不可靠的组播通信,支持各种通信协议,提供通信链路延迟、带宽和可靠性等指标;
信息服务:提供方便可靠的机制,获得不断变化的各结点信息和状态;
名字服务:提供全局统一的名字服务,典型的有国际通用的X.50标准或Internet上DNS标准;
文件系统:提供一个分布式文件系统机制、全局存储和缓存空间;
安全认证:应包括登录认证、可信赖、完整性和记账等方面的安全性,这是网格计算的难点,也是系统成败的关键;
监视系统:提供监视系统资源和运行情况的工具;
资源管理和调度:提供透明的资源调度,高效地利用可利用的资源是系统的核心;
资源交易机制:为鼓励不同组织或资源拥有者加入系统,应提供一种计算资源的交易机制,允许提供资源者获得利益,使系统能动态地取得最好的性价比资源;
编程工具:必须提供丰富的用户接口和编程环境,提供最常用的语言,如C、C++、FORTRAN、MPI、PVM以及分布式共享存储器和一些函数库等;
用户图形界面:提供直观的用户访问接口,包括Web方式,使用户可以在任何位置、任何平台上使用系统资源。
5 网格系统的体系结构
网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能,描述了网格各组成部分的关系以及它们集成的方式或方法,刻画了支持网格有效运转的机制。
目前比较重要的网格体系结构有两个,一种是五层沙漏结构,另一种是开放网格服务结构OGSA(Open Grid Services Architecture)。
5.1 五层沙漏结构
五层沙漏结构是以协议为中心的模型,它由以下几部分构成。
①构造层:局部控制的界面。控制局部的资源,向上提供访问这些资源的接口。
②连接层:支持便利的安全的通信。实现相互的通信,定义了核心的通信和认证协议,用于网格的网络事务处理之中。
③资源层:共享单一资源,实现对单个资源的共享。
④汇聚层:协调各种资源。
⑤应用层:是用户需求的具体体现。在网格操作系统的支持下,网格用户可以使用其提供的工具或环境开发各种应用系统。
5.2 开放网格服务体系结构
开放网格服务体系结构(OGSA)是以服务为中心的模型,它是一个由节点和连线构成的框架。开放网格服务体系结构包含“纤维层”、联络层、资源(使用)层、协作层、应用层共5个层次。其中“纤维层”,用于远程调用及控制,它是整个网格系统的基础。联络层(Connectivity Layer)提供查询网格服务、通讯服务和安全控制。
开放网格服务体系结构的两大技术支撑为网格技术和Web service,它的功能通过服务接口实现。它是目前最新的网格体系结构,被称为下一代的网格体系结构。
6 网格计算的应用
目前除学术机构研究网格技术以外,政府和企业也投入到网格系统的构建和网格计算应用中。网格计算应用范围广泛,涉及科学研究领域和生活领域的各个方面。
(1)分布式超级计算。网格计算可以把分布式的超级计算机集中起来,协同解决复杂的大规模的问题。使大量闲置的计算机资源得到有效的组织,提高了资源的利用效率,节省了大量的重复投资,使用户的需求能够得到及时满足。
(2)高吞吐率计算。网格技术能够十分有效地提高计算的吞吐率,它利用CPU的周期窃取技术,将大量空闲的计算机的计算资源集中起来,提供给对时间不太敏感的问题,作为计算资源的重要来源。
(3)数据密集型计算。数据密集型的问题的求解往往同时产生很大的通讯和计算需求,需要网格能力才可以解决。网格可以药物分子设计、计算力学、计算材料、电子学、生物学、核物理反应、航空航天等众多的领域得到广泛的需求。
(4)基于广泛信息共享的人与人交互。网格的出现更加突破了人与人之间地理界线的限制,使得科技工作者之间的交流更加的方便,从某种程度上可以说实现人与人之间的智慧共享。
7 网格计算的未来发展趋势
7.1 标准化趋势
网格需要标准化协议和服务才能共享和互通。目前的网格计算系统已经有许多成功的使用实例,但是还需要进一步的标准化,以适应各种复杂计算的需求。现有的网格系统一般只能解决本系统内部的资源共享,网格与网格系统之间的互联尚没有走到前台。网格的跨越问题是一个重要的研究方向。
包括全球网格论坛GGF(Global Grid Forum)、研究模型驱动体系结构(Model Driven Architecture)的对象管理组织(OMG)、致力于网络服务与语义WWW研究的W3C(World Wide Web Consortium),以及Globus项目组在内的诸多标准化团体正在积极开发网格的体系结构,争夺网络标准的制定权。
迄今为止,网格计算还没有正式的标准,但在核心技术上,相关机构与企业已达成一致:由美国阿尔贡国家实验室与南加州大学信息科学学院合作开发的Globus ToolKit,已成为网格计算事实上的标准。
7.2 融合趋势
融合将成为网格技术发展的主旋律。随着网格向应用加速,网格将逐渐向着最佳的技术组合方向演进和融合。现在许多企业的应用已经开发多年并运行良好,要将这些原有的应用平滑移植到建好的网格系统平台,需要多种技术的融合和企业间的进一步支持和相互之间广泛合作。
在OGSA出现之前,已经出现了很多种用于网格计算的技术和产品,如Condor, Legion, Ninf,Globus等,但是这些网格平台互不兼容。
基于OGSA之后,网格的一切对外功能都以网格服务(Grid Service)来体现,并融合一些现成的、与平台无关的技术,如XML,SOAP,WSDL,UDDI,WS FL,WSEL等,来实现这些服务的描述、查找、访问和信息传输等功能。这样,一切平台及所使用技术的异构性都被屏蔽。用户访问网格服务时,根本就无需关心该服务的提供者是谁。
7.3 大型化
网格计算引起了世界的广泛关注和重视。美国、英国、日本等国家都投入大量资金开展网格技术的研究。我国863计划也提出了相应的发展计划和研究项目。网格吸引了众多政府和企业的目光,他们纷纷斥巨资研究相关技术和构建网格系统。网格计算逐渐向跨地域、大规模化发展。
8 结束语
网格计算最初是要解决海量计算问题,是根据电力资源的思想所提出来的。Internet的作用是将各种计算机连结起来,而网格是将各种资源连结起来,最终实现的效果是如同人们用电一样的方便。在因特网和万维网中,资源零散的分布在不同的领域里,而在网格中资源将被统一管理,在物理上是分散的,逻辑上是整体的,用户通过网格可以透明地使用所有资源。
参考文献:
[1]孙培德,胡月仙.网格计算的研究进展及应用前景[J].计算机时代,2003,(1):1-5.
[2]都志辉,陈渝,刘鹏.网格计算[M].北京:清华大学出版社,2002.
[3]陈颖健.下一代网络技术——网格计算[J].国际科技动态,2002(7).
[4]陈霞.网格计算技术及应用前景[J]山西电子技术, 2006,(02).
关键词:网格;网格计算;网格体系结构
中图分类号:TP393文献标识码:A 文章编号:1009-3044(2007)17-31236-02
Research and Application of Grid Computing
JIA Yu-gang
(The Computer Department of Yichun Vocation College,Yichun 153000,China)
Abstract:Grid computing is growing more successful in distributed computing. The paper introduces the grid concept,characteristics and its functions,expounds the grid architecture.And the application prospect of the grid computing technology is analyzed.
Key words:Grid; Grid computing; Grid architecture
1 引言
现代社会由于大规模的科学和工程计算的需求,迫使计算机必须不断地提高其运算速度和存储容量。计算机的发展历史表明,为了达到更好的处理性能,除了必须提高系统的硬件的速度外,系统的结构也必须不断改进,特别是当元器件的速度达到极限时,后者将变成焦点问题。于是,超级并行机已经成为复杂科学计算领域的主宰。但以超级计算机为中心的计算模式存在明显的不足,而且目前正在经受挑战。超级计算机虽然是一台处理能力强大的“巨无霸”,但它的造价极其昂贵,通常只有一些国家级的部门,如航天、军事、气象等部门才有能力配置这样的设备。而随着人们在日常工作遇到的商业计算越来越复杂,人们迫切需要数据处理能力更强大的计算机,而超级计算机的价格显然阻止了它进入普通人的工作领域。于是,人们开始寻找一种造价低廉而数据处理能力超强的计算模式,最终科学家们经过努力找到了答案——Grid Computing(网格计算)。
2 网格计算定义
网格计算是伴随着互联网而迅速发展起来的专门针对复杂科学计算的新型计算模式,这种计算模式利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级计算机。其中每一台参与计算的计算机就是一个节点,而整个计算是由成千上万个节点组成的一张网格,所以这种计算方式叫网格计算。这样组织起来的虚拟超级计算机有三个优势:一是数据处理能力超强;二是能充分利用网上的闲置处理能力;三是价格相对于超级计算机低廉。
根据Larry Smarr的描述,网格计算系统是一种无缝、集成的计算和协作环境。按照网格提供的功能,网格可分为两类:计算网格(Computational grid)和存储网格(Access Grid)。计算网格可以提供虚拟的、无限制的计算和分布数据资源,而存储网格则提供一个合作环境。
3 网格计算的特点
由于网格计算是网络环境下多个节点参与的计算模式,因此它主要有以下特点:
(1)分布与共享网格的分布是指网格系统是由分布在地理位置互不相同的资源组成的。共享是指网格上的任何资源都可以提供给网格上的使用者使用。
(2)自相似性网格的局部和整体之间存在着一定的相似性,局部具有全局的某些特征,全局体现局部的特征。
(3)动态性与多样性网格的资源不是一成不变的,随着时间的推移,网格资源会动态增加或动态减少。网格资源是异构和多样的。
(4)自治性与管理的多重性网格允许资源拥有者对他的资源有自主的管理能力,而且资源也受到网格的统一管理,但是资源拥有者的管理权限高于网格管理。
4 网格的功能
网格计算环境要求不影响各结点本地的管理和自主性,不改变原有的操作系统、网络协议和服务,保证用户和远程结点的安全性,允许远程结点选择加入或退出系统,尽量使用已存在的标准的技术,以便与已有的应用兼容,并能提供可靠的容错机制。一个理想的网格计算应类似当前的Web服务,可以构建在当前所有硬件和软件平台上,给用户提供完全透明的计算环境。对用户而言,它把众多同、异构的资源变成了同构的虚拟计算环境。为此,网格计算环境设计需要有以下主要功能:管理层次:确定管理层次体系,管理域按区域层次划分,决定管理信息流的流向; 通信服务:随应用目的的不同提供不同的服务,包括可靠的点对点和不可靠的组播通信,支持各种通信协议,提供通信链路延迟、带宽和可靠性等指标;
信息服务:提供方便可靠的机制,获得不断变化的各结点信息和状态;
名字服务:提供全局统一的名字服务,典型的有国际通用的X.50标准或Internet上DNS标准;
文件系统:提供一个分布式文件系统机制、全局存储和缓存空间;
安全认证:应包括登录认证、可信赖、完整性和记账等方面的安全性,这是网格计算的难点,也是系统成败的关键;
监视系统:提供监视系统资源和运行情况的工具;
资源管理和调度:提供透明的资源调度,高效地利用可利用的资源是系统的核心;
资源交易机制:为鼓励不同组织或资源拥有者加入系统,应提供一种计算资源的交易机制,允许提供资源者获得利益,使系统能动态地取得最好的性价比资源;
编程工具:必须提供丰富的用户接口和编程环境,提供最常用的语言,如C、C++、FORTRAN、MPI、PVM以及分布式共享存储器和一些函数库等;
用户图形界面:提供直观的用户访问接口,包括Web方式,使用户可以在任何位置、任何平台上使用系统资源。
5 网格系统的体系结构
网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能,描述了网格各组成部分的关系以及它们集成的方式或方法,刻画了支持网格有效运转的机制。
目前比较重要的网格体系结构有两个,一种是五层沙漏结构,另一种是开放网格服务结构OGSA(Open Grid Services Architecture)。
5.1 五层沙漏结构
五层沙漏结构是以协议为中心的模型,它由以下几部分构成。
①构造层:局部控制的界面。控制局部的资源,向上提供访问这些资源的接口。
②连接层:支持便利的安全的通信。实现相互的通信,定义了核心的通信和认证协议,用于网格的网络事务处理之中。
③资源层:共享单一资源,实现对单个资源的共享。
④汇聚层:协调各种资源。
⑤应用层:是用户需求的具体体现。在网格操作系统的支持下,网格用户可以使用其提供的工具或环境开发各种应用系统。
5.2 开放网格服务体系结构
开放网格服务体系结构(OGSA)是以服务为中心的模型,它是一个由节点和连线构成的框架。开放网格服务体系结构包含“纤维层”、联络层、资源(使用)层、协作层、应用层共5个层次。其中“纤维层”,用于远程调用及控制,它是整个网格系统的基础。联络层(Connectivity Layer)提供查询网格服务、通讯服务和安全控制。
开放网格服务体系结构的两大技术支撑为网格技术和Web service,它的功能通过服务接口实现。它是目前最新的网格体系结构,被称为下一代的网格体系结构。
6 网格计算的应用
目前除学术机构研究网格技术以外,政府和企业也投入到网格系统的构建和网格计算应用中。网格计算应用范围广泛,涉及科学研究领域和生活领域的各个方面。
(1)分布式超级计算。网格计算可以把分布式的超级计算机集中起来,协同解决复杂的大规模的问题。使大量闲置的计算机资源得到有效的组织,提高了资源的利用效率,节省了大量的重复投资,使用户的需求能够得到及时满足。
(2)高吞吐率计算。网格技术能够十分有效地提高计算的吞吐率,它利用CPU的周期窃取技术,将大量空闲的计算机的计算资源集中起来,提供给对时间不太敏感的问题,作为计算资源的重要来源。
(3)数据密集型计算。数据密集型的问题的求解往往同时产生很大的通讯和计算需求,需要网格能力才可以解决。网格可以药物分子设计、计算力学、计算材料、电子学、生物学、核物理反应、航空航天等众多的领域得到广泛的需求。
(4)基于广泛信息共享的人与人交互。网格的出现更加突破了人与人之间地理界线的限制,使得科技工作者之间的交流更加的方便,从某种程度上可以说实现人与人之间的智慧共享。
7 网格计算的未来发展趋势
7.1 标准化趋势
网格需要标准化协议和服务才能共享和互通。目前的网格计算系统已经有许多成功的使用实例,但是还需要进一步的标准化,以适应各种复杂计算的需求。现有的网格系统一般只能解决本系统内部的资源共享,网格与网格系统之间的互联尚没有走到前台。网格的跨越问题是一个重要的研究方向。
包括全球网格论坛GGF(Global Grid Forum)、研究模型驱动体系结构(Model Driven Architecture)的对象管理组织(OMG)、致力于网络服务与语义WWW研究的W3C(World Wide Web Consortium),以及Globus项目组在内的诸多标准化团体正在积极开发网格的体系结构,争夺网络标准的制定权。
迄今为止,网格计算还没有正式的标准,但在核心技术上,相关机构与企业已达成一致:由美国阿尔贡国家实验室与南加州大学信息科学学院合作开发的Globus ToolKit,已成为网格计算事实上的标准。
7.2 融合趋势
融合将成为网格技术发展的主旋律。随着网格向应用加速,网格将逐渐向着最佳的技术组合方向演进和融合。现在许多企业的应用已经开发多年并运行良好,要将这些原有的应用平滑移植到建好的网格系统平台,需要多种技术的融合和企业间的进一步支持和相互之间广泛合作。
在OGSA出现之前,已经出现了很多种用于网格计算的技术和产品,如Condor, Legion, Ninf,Globus等,但是这些网格平台互不兼容。
基于OGSA之后,网格的一切对外功能都以网格服务(Grid Service)来体现,并融合一些现成的、与平台无关的技术,如XML,SOAP,WSDL,UDDI,WS FL,WSEL等,来实现这些服务的描述、查找、访问和信息传输等功能。这样,一切平台及所使用技术的异构性都被屏蔽。用户访问网格服务时,根本就无需关心该服务的提供者是谁。
7.3 大型化
网格计算引起了世界的广泛关注和重视。美国、英国、日本等国家都投入大量资金开展网格技术的研究。我国863计划也提出了相应的发展计划和研究项目。网格吸引了众多政府和企业的目光,他们纷纷斥巨资研究相关技术和构建网格系统。网格计算逐渐向跨地域、大规模化发展。
8 结束语
网格计算最初是要解决海量计算问题,是根据电力资源的思想所提出来的。Internet的作用是将各种计算机连结起来,而网格是将各种资源连结起来,最终实现的效果是如同人们用电一样的方便。在因特网和万维网中,资源零散的分布在不同的领域里,而在网格中资源将被统一管理,在物理上是分散的,逻辑上是整体的,用户通过网格可以透明地使用所有资源。
参考文献:
[1]孙培德,胡月仙.网格计算的研究进展及应用前景[J].计算机时代,2003,(1):1-5.
[2]都志辉,陈渝,刘鹏.网格计算[M].北京:清华大学出版社,2002.
[3]陈颖健.下一代网络技术——网格计算[J].国际科技动态,2002(7).
[4]陈霞.网格计算技术及应用前景[J]山西电子技术, 2006,(02).