校园计算网格环境中资源监测与资源发现研究

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:david6357
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:建设校园计算网格首先要解决资源监测与资源发现问题。资源监测为其他的网格中间件提供必要的与资源有关的性能数据,是资源发现和任务分配的基础。资源发现将网格中不被用户所知道的资源与请求使用资源的用户联系起来。资源发现功能的强弱直接决定了网格的使用效率和友好程度。本文结合校园计算网格本身的特点,给出了建设校园计算网格应实现的功能,着重探讨了资源监测与发现基本理论和相关技术,提出了资源监测与发现的方法,最后设计并实现了校园计算网格资源监测与发现服务。
  关键词:校园计算网格;资源监测;资源发现;MDS;LDAP
  中图分类号:TP393 文献标识码:A文章编号:1009-3044(2007)03-10698-04
  
  1 引言
  
  在过去的几十年里,计算机的性能在不断提高,但是不少计算机大部分的时间是处于闲置或使用率很低的状态;与之相反的是,很多应用领域需要高性能计算能力,从事这些相关领域的单位或个人拥有的计算资源却不能提供实际需要的计算能力。网格突破了计算能力大小的限制,资源地理位置的限制,而且更重要的是它打破了传统的共享或协作的限制。网格的根本特征并不一定是它的规模,而是资源共享,消除了资源孤岛。我们可以构造地区性的网格、企事业内部网格、局域网网格、甚至家庭网格和个人网格。
  校园网作为互联网络的一部分具有分布范围较小、传输速度较快、资源易于统一管理等特点,因此非常适合作为构建计算网格的实验床。而在校园环境内,不同学科领域、专业、研究组的科学家和研究人员在开展他们的研究工作时,往往需要高性能的计算能力,这也为校园计算网格的建设提出了应用需求。
  在网格中,物理资源经过了虚拟化,资源的物理特性大多被隐藏起来,但是在实际工作中,网格系统还是需要根据用户对资源物理特性的需求信息,比如处理机的速度、内存空间的大小、操作系统的版本等,帮助用户找到合适的资源。而且在使用资源的时候,如果系统出现问题,用户需要准确地知道系统中发生了什么,这就要求系统提供资源运行信息,發现和解决故障,甚至是提前预测故障。资源监测与发现就是信息请求者和资源提供者之间的一座桥梁,为用户提供需要的网格信息。
  
  2 校园计算网格
  
  计算网格可以构建在当前现有的硬件和软件平台上,因此可以利用校园网内的资源建设校园计算网格,作为计算网格研究的实验平台并向校园网内的用户提供计算力。
  校园计算网格应具有的功能:
  (1)网格安全
  网格安全是网格计算环境正常运行的保证。网格的安全管理机构应该提供合法网格用户访问网格资源的授权功能,检查证书的有效性和有效期,禁止资源的非授权访问,检查合法用户访问资源的正确性,提供合法的集成功能。
  (2)信息服务
  对资源信息的正确、及时获取是使用网格资源的前提。信息服务的主要功能包括信息注册、信息更新、信息查询、信息注销、信息分发等。
  (3)资源管理
  管理好各种类型的资源,为合法的用户提供简单的共享使用接口是资源管理的中心任务之一。把一个用户或应用程序与所请求的资源联系起来需要经过资源注册、资源请求、资源发现、资源分配、资源使用、资源回收等过程,这也是资源管理的基本功能。
  (4)数据管理
  数据管理要为网格用户提供透明的共享网格上的存储资源和数据资源的手段,包括数据访问、数据存储、数据传输、数据管理等方面。
  (5)作业管理
  用户可以通过网格作业管理器提交作业、查询作业状态,提交作业交互数据,根据作业状态选择合适的操作,作业运行结束后收集计算结果。此外作业管理器要负责作业调度、负载均衡,提供作业检查、故障排除后作业重启、作业迁移等功能,为网格作业的建立、调试、排错提供支持。
  (6)网格用户管理
  网格用户管理包括用户注册、注销、授权和变更等操作。
  (7)网格计费
  资源付费可以避免一些恶意用户长期占用资源,而且还可以为网格的建设提供资金支持,利于网格的良性发展。网格用户应缴纳的费用与所使用的资源的种类、资源提供的能力、使用资源时间的长短等有关。
  
  3 网格资源监测
  
  典型的网格环境是由很多资源构成的高度复杂的分布式环境。为了完成计算任务,需要掌握不同资源的状态信息,发现可用资源,为资源分配和有效使用提供决策依据,同时监测资源的运行情况,这些工作都离不开资源监测的支持。
  为了实现资源监测,可以充分利用Globus Tookit的元计算目录服务MDS(Metacomputing Directory Service)原有的功能、扩充新功能、提供良好的信息访问形式。MDS提供信息服务,它定义了一个基于轻量目录访问协议LDAP(Lightweight Directory Access Protocol)和特定模式的方法来表示数据,使用LDAP协议作为查询各种系统组件信息的统一手段。
  之所以采用与MDS结合的方式,在MDS的基础上进行二次开发,主要出于如下考虑:①Globus已经成为了计算网格技术的典型代表和事实上的规范,国内外的很多网格项目都应用了它;②MDS提供了很实用的API,此次开发运用了MDS的C API。
  
  4 网格资源发现
  
  资源发现是实现满足用户需求的可用资源的查找和分配,它需要资源监测的支持,同时也是正因为有了资源发现,由资源监测得到的资源信息才更有意义。
  实现资源发现的核心是设计高效的资源分配算法。资源发现的最终结果是将资源的位置告诉请求者,资源的位置通常用统一的资源标识符表示。资源发现的过程如图1所示。
  图1 资源发现的过程
  资源信息收集是从资源监测器得到最新资源信息中,提取可用资源的信息,生成新的可用资源表单的过程。资源请求收集是用户填写具体的资源需求,并将请求表单汇总到数据库的过程。资源发现的核心是根据资源请求信息,通过高效的资源分配算法,为用户找到满足用户需求的资源,最终得到可用资源的唯一标识(如IP地址)。
  本人设计了一个资源分配算法——批分配算法,其核心思想是:将资源请求收集成一个请求组,从第一个资源请求进入组内时起,开始计时和计数,如果达到最长未处理时间或组内请求已满,就要立刻为请求组内的所有请求寻找资源。
  
  5 校园计算网格资源监测与发现服务的实现
  
  校园计算网格资源监测与发现服务(Resource Monitoring and Discovery Service,简称RMDS)是UCGrid (University Computing Grid)中的一个服务,旨在为用户提供实时的资源信息并帮助用户找到满足需求的资源。
  5.1RMDS设计目标
  RMDS应达到如下设计要求:
  (1)准确收集网格中全部资源信息,包括动态信息和静态信息;
  (2)及时响应用户资源请求,为用户找到合适资源;
  (3)提供友好界面,便于用户查询资源状态;
  (4)能对系统类和网络类监测对象产生的故障发出报警;
  (5)服务与平台无关、与位置无关。
  5.2RMDS功能分析
  为了实现上述设计目标,RMDS应具有如下的功能:
  (1)信息注册
  信息注册是信息被使用的第一步。信息包括两方面:用户信息和资源信息。这时注册的信息都是静态信息。注册到信息中心数据库的信息是以后许多工作的行为依据,必须做到内容客观、数据真实,因此对注册者的真实身份要进行核实。
  (2)信息更新
  用户信息大多是静态信息,资源信息一部分是静态信息,另一部分是动态信息。对不同类型的信息采用不同的更新周期。
  (3)信息查询
  合法用户可以在本地实现对整个网格资源信息的查询。信息查询要提供方便实用的查询方式。
  (4)资源发现
  资源发现将网格中的资源和欲使用资源的用户联系起来。资源发现的最终结果是给资源请求者提供一个可用资源的唯一标识。
  (5)信息注销
  注销包括资源信息注销和用户信息注销。用户想退出网格或资源拥有者想停止提供自己的资源给网格用户使用,只需要从网格中注销用户或资源的信息。另一方面,为了保证所有网格用户的合法权益,网格管理员要关闭一些与网格服务条款相抵触的资源,也要执行注销操作。
  (6)异常报警处理
  主要处理两方面的异常:系统类异常和网络类异常,二者分别对应三种可能的监测事件——警告、故障和数据过期。
  5.3 RMDS的功能结构
  根据RMDS的功能需求和设计要求,将RMDS分为如下三个模块:注册器、监测器、发现器。注册器实现资源和用户信息的注册与注销功能;监测器实现资源系统类和网络类信息的收集、更新和报警功能;发现器实现资源发现功能。功能模块如图2所示。
  图2 RMDS功能结构
  5.4 RMDS的实现
  RMDS的实现采用B/S模型与C/S模型相结合的方式。用户通过Web浏览器注册,注册成功后可以从网上下载网格用户控制台GUC软件包,经过简单的安装,就可以使用RMDS。
  RMDS的实现主要包括三个方面:资源监测器的实现、资源发现器的实现和各功能界面的实现。其中资源监测器与资源发现器的开发是RMDS实现的核心。RMDS在Linux系统上采用Globus Tookit作为支撑平台,使用Mysql建设信息中心数据库,运用MDS的C API开发后台资源监测器,Kylix和JSP分别用来设计监测发现界面和资源注册用户注册Web界面。
  5.4.1 资源监测器的实现
  (1)自定义的结构体类型attribute,存储MDS的LDAP目录树中的属性的名字和内容
  typedef struct
  { char * answername;//属性名
  char * answer;//属性值
  } attribute;
  (2)获取LDAP上所有信息内容的函数
  attribute * getAttributeValue ( LDAP *ld, char *basedn, int scope, char *filter[], char *attrs[][]);
  getAttributeValue函数是在对LDAP模式的充分理解的基础上实现的,其程序流程图如图3。
  图3 getAttributeValue函数的实现流程图
  (3)下列函数的功能分别是获取主机、操作系统、Cpu、Memory、Disk以及网络的信息,其中调用了getAttributeValue函数
  attribute * getComputerAttributeValue(LDAP *ld, char *basedn,int scope);
  attribute * getOneCpuAttributeValue(LDAP *ld, char *basedn,int scope);
  attribute * getOneMemoryAttributeValue(LDAP *ld, char *basedn,int scope);
  attribute * getFsAttributeValue(LDAP *ld, char *basedn,int scope);
  attribute * getNetAttributeValue(LDAP *ld, char *basedn,int scope);
  attribute * getOsAttributeValue(LDAP *ld, char *basedn,int scope);
  (4)下列函数的功能分别是将主机、操作系统、Cpu、Memory、Disk以及网络的信息插入资源信息中心数据库相应的表中。
  void insertOsInfoToMysql(LDAP *ld, char *basedn,int scope,MYSQL * conn);
  void insertCpuInfoToMysql(LDAP *ld, char *basedn,int scope,MYSQL * conn);
  void insertFsInfoToMysql(LDAP *ld, char *basedn,int scope,MYSQL * conn);
  void insertNetInfoToMysql(LDAP *ld, char *basedn,int scope,MYSQL * conn);
  void insertMemoryInfoToMysql(LDAP *ld, char *basedn,int scope,MYSQL * conn);
  5.4.2 资源发现器的实现
  资源发现器接收用户請求,按照资源批分配算法,从信息中心数据库找到满足用户需求用户的资源,其程序设计流程图如图4所示。
  5.5.3 运行情况
  RMDS实现了对校园网内计算资源的动态监测及有效发现,系统的运行稳定性较好,对系统资源占有率较低,客户端提供了对用户友好的图形界面。
  图5中显示了网格结点dncpc1.cdut.edu.cn的Memory信息,这些信息是由资源监测器实时写入数据库,真实可靠。界面左边的树形结构显示了网格拥有的结点;右上方的浏览框里显示了Memory的全部信息包括物理内存的大小和空闲情况以及虚拟内存的大小和空闲情况;右下方是根据Memory物理内存的使用情况画出的饼图,浅灰色代表已使用,绿色代表未使用。
  图5 主机dncpc1.cdut.edu.cn的Memory信息
  图6为作业1的资源发现结果,上栏是作业1的资源需求信息,该请求被选中时,下栏就会高亮显示资源发现找到的资源的信息。
  图6作业1的资源发现结果
  
  6 结论
  
  本文应用计算网格技术事实上的规范GlobusTookit及其相关的元计算目录服务MDS,设计和实现了资源监测与发现服务RMDS,可以有效地为校园计算网格用户的作业请求提供合理的资源分配以及资源运行情况的监测,该服务已经具有一定的实用性。在此基础上,进一步还应更深入地研究资源采集和分配的优化算法,提高资源发现的有效性和实时性;研究资源监控服务的方便性和故障识别的精确性,实现远程故障处理及系统恢复等实用功能。
  参考文献:
  [1]都志辉,陈渝,刘鹏编著;李三立审.网格计算[M].北京:清华大学出版社,2002.
  [2]徐志伟,冯百明,李伟.网格计算技术[M].北京:机械工业出版社,2004.
  [3]Globus项目.http://www.globus.org.
  [4]Global Grid Forum.http://www.gridforum.org/.
  [5]中国网格信息中转站.http://www.chinagrid.net/dvnews/default.aspx.
  [6]MDS: Metacomputing Directory Service. http://www-fp.globus.org/presentations/mds/.
  [7]Globus Toolkit 3.2 Documentation. http://www-unix.globus.org/toolkit/docs/3.2/.
  [8]I.Foster G.von Laszewski.Usage of LDAP in Globus.http://www.globus.org/research/papers.html.
  [9]查礼,徐志伟,林国璋.基于LDAP 的网格监控系统[J].计算机研究与发展,2002(8).
  [10]刘东华.徐志伟.李伟.基于有向无环图的两层网格监测系统[J].计算机研究与发展,2002(8).
  本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
其他文献
对校园网中存在安全隐患的网络边界实施“端点准入”认证机制的方法进行了研究,详细分析了基于802.1x的认证机制的工作原理及其体系结构,提供了在linux上实现此种认证机制的
ADSL(Asymmetric Digital subscriber Line)现在越来越成为家庭用户接入Internet的首选,本文通过对ADSL的简要介绍,以及对网卡特征和ADSL调制解调器的研究,重点解决了多台电
选股要三不  选好、选准、选对股票,是抢反弹成功的一半。原则有三:一是不选流动性差的股票。流动性差的股票活力也相对较差。不仅要注重发掘成长性、竞争有优势和低估值的股票,更要重视流动性以及对安全边际的控制。尽量选择估值较低、比较活跃的小盘股,以及已破净、破发、超跌的、具有较强反弹动能的股票,为自己增添一份安全和稳健感。二是不选冷门股。这种股票的上市公司一般经营业绩不佳,财务状况恶化,股东的股息收益差
针对TIC6000系列DSP网络开发工具NDK进行研究,结合TMS320DM642芯片详细描述了NDK的结构,讲述了利用NDK开发DSP网络应用程序的一般过程和实际应用中要注意的问题,并给出了NDK
本文通过介绍我院校园网网关与认证系统的总体设计过程,并针对校园网的特点,提出了一种新的实用的校园网网关与认证模式,同时具体描述了包括IP转发控制、身份认证、数据库、
经济增长,物价稳定,充分就业,产业结构高级化和国际收支平衡是我国制定宏观经济政策的主要具体目标,其中的物价稳定就是政府控制通货膨胀的具体宏观经济目标。   治理通货
期刊
摘要:介绍802.1X端口认证技术的基本原理及认证过程,探讨了端口认证技术在图书馆网络管理中的应用;指出了使用802.1X端口认证技术可以使得图书馆的网络运行更安全、更易于管理。  关键词:端口认证;802.1x;图书馆网络  中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2007)03-10697-01    1 引言    随着图书馆自动化水平的提高和数字图书馆的不断发
随着宽带业务的迅速发展,传统IP技术和路由协议已经不能满足用户对网络可靠性的需要。在IP城域网的MPLS域中,使用流量分担和网络备份、MPLS快速重路由方法,加快了网络故障恢