论文部分内容阅读
摘 要：本文在课题研究中基于OGSA体系，建立了一个实验性面向网格服务的计算资源管理和调度的应用平台。处理的计算资源主要为异构、异地分布的多个计算集群。使用网格技术将所有计算资源粘合在一齐，为用户提供了高效访问和透明使用的机制。
关键词：网格 计算资源
一、序言
网格是把整个因特网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。它将分布在不同地理位置的计算资源包括CPU、存储器、数据库等，通过高速的互联网组成充分共享的资源集成，从而提供一种高性能计算、管理及服务。
在企业中，在计算机使用上存在着：总量过剩，局部不足，配置不合理，发展不平衡，不能有效实现资源共享，利用率不高等诸多问题。网格技术的兴起使得建立起一个跨平台、多机种、高效、共享的综合管理平台和合理有效的管理机制成为可能。
二、体系架构
实验平台由1个32节点微机群，1个4节点微机群，3台安装linux系统的微机和若干台windows操作系统的用户组成，它们之间通过tcp/ip网络互联。网格环境由网格服务、主控机（网格客户端）、终端用户组成。开发地震处理叠前偏移网格服务，安装在2套微机群中同时提供相同的2套处理服务，用于接收用户的作业请求，调用原来的地震处理程序，运行作业，提供微机集群的计算资源。主控机运行网格客户端程序、用于接收终端用户的指令，根据对资源要求选择网格服务和集群节点，调用网格服务，在远端微机机群上进行作业，处理完成的结果通過主控机返回给用户。主控机与终端用户间采用B/S方式，主控机起网格代理的作用，终端用户不需要安装GT3环境，终端用户通过浏览器就可以提交作业。
整个系统通过两部分的设计，为用户提供标准的、统一的资源使用视图；包括Web用户界面的设计以及服务器端（MainCotrol）的逻辑设计。服务器端的资源管理调度模块是网格系统的一部分。网格系统由MainControl、CA、index server和众多集群构成的网格计算资源组成。用户与MainControl之间通过Web和其他成熟的网络技术进行交互。MainControl负责计算资源的查找，定位、选择、管理和调度；Index server负责网格系统中服务的动态注册和服务数据的整合与索引；CA是该系统中统一的安全认证中心。整个系统的架构如图1所示：
三、计算网格系统的具体实现
1.安全性问题的解决
本系统模式下的安全性有两层含义，网格服务访问安全和用户安全登录。
网格服务访问安全是通过网格系统的基于公钥的x.509代理证书进行双向认证，以及grid-map进行授权操作来完成的；在该网格系统环境中配置了一个私有的CA认证中心，以便网格环境中的所有结点都从该私有CA认证中心获得认证证书。用户登录安全是主控端对用户身份的一个验证，通过与用户注册信息的比较，确定用户身份的合法性以及用户访问的权限。
2.服务的动态注册和服务、服务数据的发现
建立网格服务注册中心。GT3所提供的索引服务实现了网格服务注册和服务数据聚合的通用框架，提供了标准的服务数据的注册、轮询和订阅/通知机制。索引服务通过外部程序提供服务数据的动态产生，把来自不同信息提供者程序的服务数据以不同的方式聚合，进行索引以提供有效的查询处理。
3.网格服务生命周期的管理
本系统处理的集群计算中，具有计算量大、计算周期长，生命周期管理复杂等特点。用户希望一旦建立网格服务实例，作业顺利提交后，在作业运行期间，系统可以随时将作业的运行状态和结果在用户需要时反馈给用户。对用户而言，不可能长时间与网格实例保持联系，因此系统要允许用户启动作业后随时出入系统，并保证该服务实例的持续服务。有鉴于此，所采用的是用户显示销毁和服务实例自动销毁相结合的生命周期管理策略。
4.资源的监控
本系统中网格的监控负责全系统中所有节点的系统级监控任务。根据本系统的特点把监控自下而上的分为三个层次：微机集群内各结点状态的监控、网格系统各结点本身的监控和主控结点的监控。监控包括cpu、mem、disk和网络带宽、网络堵塞等信息。
5.数据网格的实现
借助提供的网格资源服务，主要将用户的数据文件上传、下载到网格服务端以及目录管理等工作。Globus提出了GridFTP机制，它基于标准FTP协议，并对其进行了全面扩展，可实现对多种存储系统的支持，并提供统一的用户访问界面。
6.计算网格的实现
6.1远程编译
对程序源文件的远程编译是在网格功能中重要的一步，由于系统的差异，程序运行环境的特殊要求，要求用户的源程序在计算资源的环境中进行编译，以生成可以在计算资源环境下可以运行的可执行程序。并为用户远程执行程序作好准备。
6.2MPI作业提交
用户远程运行作业并得到实时运行结果是整个应用的核心部分。网格服务实现了用户命令的提交，用户程序的监控，用户所需资源的选择，程序运行结果的保存回显等一系列功能。为了方便用户应付可能的情况，为用户查看运行结果提供了丰富的选择。用户可以手动刷新获得最新结果，可以选择自动刷新和刷新速度来获得自己合适的显示效果。
四、结论
实验室环境下网格系统的成功运行，使我们对网格技术及其在石油地震处理、解释中的应用有了进一步的了解和认识，所积累的知识和经验也为在下一阶段科研任务的探讨与研究提供了条件。
关键词：网格 计算资源
一、序言
网格是把整个因特网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。它将分布在不同地理位置的计算资源包括CPU、存储器、数据库等，通过高速的互联网组成充分共享的资源集成，从而提供一种高性能计算、管理及服务。
在企业中，在计算机使用上存在着：总量过剩，局部不足，配置不合理，发展不平衡，不能有效实现资源共享，利用率不高等诸多问题。网格技术的兴起使得建立起一个跨平台、多机种、高效、共享的综合管理平台和合理有效的管理机制成为可能。
二、体系架构
实验平台由1个32节点微机群，1个4节点微机群，3台安装linux系统的微机和若干台windows操作系统的用户组成，它们之间通过tcp/ip网络互联。网格环境由网格服务、主控机（网格客户端）、终端用户组成。开发地震处理叠前偏移网格服务，安装在2套微机群中同时提供相同的2套处理服务，用于接收用户的作业请求，调用原来的地震处理程序，运行作业，提供微机集群的计算资源。主控机运行网格客户端程序、用于接收终端用户的指令，根据对资源要求选择网格服务和集群节点，调用网格服务，在远端微机机群上进行作业，处理完成的结果通過主控机返回给用户。主控机与终端用户间采用B/S方式，主控机起网格代理的作用，终端用户不需要安装GT3环境，终端用户通过浏览器就可以提交作业。
整个系统通过两部分的设计，为用户提供标准的、统一的资源使用视图；包括Web用户界面的设计以及服务器端（MainCotrol）的逻辑设计。服务器端的资源管理调度模块是网格系统的一部分。网格系统由MainControl、CA、index server和众多集群构成的网格计算资源组成。用户与MainControl之间通过Web和其他成熟的网络技术进行交互。MainControl负责计算资源的查找，定位、选择、管理和调度；Index server负责网格系统中服务的动态注册和服务数据的整合与索引；CA是该系统中统一的安全认证中心。整个系统的架构如图1所示：
三、计算网格系统的具体实现
1.安全性问题的解决
本系统模式下的安全性有两层含义，网格服务访问安全和用户安全登录。
网格服务访问安全是通过网格系统的基于公钥的x.509代理证书进行双向认证，以及grid-map进行授权操作来完成的；在该网格系统环境中配置了一个私有的CA认证中心，以便网格环境中的所有结点都从该私有CA认证中心获得认证证书。用户登录安全是主控端对用户身份的一个验证，通过与用户注册信息的比较，确定用户身份的合法性以及用户访问的权限。
2.服务的动态注册和服务、服务数据的发现
建立网格服务注册中心。GT3所提供的索引服务实现了网格服务注册和服务数据聚合的通用框架，提供了标准的服务数据的注册、轮询和订阅/通知机制。索引服务通过外部程序提供服务数据的动态产生，把来自不同信息提供者程序的服务数据以不同的方式聚合，进行索引以提供有效的查询处理。
3.网格服务生命周期的管理
本系统处理的集群计算中，具有计算量大、计算周期长，生命周期管理复杂等特点。用户希望一旦建立网格服务实例，作业顺利提交后，在作业运行期间，系统可以随时将作业的运行状态和结果在用户需要时反馈给用户。对用户而言，不可能长时间与网格实例保持联系，因此系统要允许用户启动作业后随时出入系统，并保证该服务实例的持续服务。有鉴于此，所采用的是用户显示销毁和服务实例自动销毁相结合的生命周期管理策略。
4.资源的监控
本系统中网格的监控负责全系统中所有节点的系统级监控任务。根据本系统的特点把监控自下而上的分为三个层次：微机集群内各结点状态的监控、网格系统各结点本身的监控和主控结点的监控。监控包括cpu、mem、disk和网络带宽、网络堵塞等信息。
5.数据网格的实现
借助提供的网格资源服务，主要将用户的数据文件上传、下载到网格服务端以及目录管理等工作。Globus提出了GridFTP机制，它基于标准FTP协议，并对其进行了全面扩展，可实现对多种存储系统的支持，并提供统一的用户访问界面。
6.计算网格的实现
6.1远程编译
对程序源文件的远程编译是在网格功能中重要的一步，由于系统的差异，程序运行环境的特殊要求，要求用户的源程序在计算资源的环境中进行编译，以生成可以在计算资源环境下可以运行的可执行程序。并为用户远程执行程序作好准备。
6.2MPI作业提交
用户远程运行作业并得到实时运行结果是整个应用的核心部分。网格服务实现了用户命令的提交，用户程序的监控，用户所需资源的选择，程序运行结果的保存回显等一系列功能。为了方便用户应付可能的情况，为用户查看运行结果提供了丰富的选择。用户可以手动刷新获得最新结果，可以选择自动刷新和刷新速度来获得自己合适的显示效果。
四、结论
实验室环境下网格系统的成功运行，使我们对网格技术及其在石油地震处理、解释中的应用有了进一步的了解和认识，所积累的知识和经验也为在下一阶段科研任务的探讨与研究提供了条件。