LSF中数据收集分析子系统的研究与设计

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:av437556057
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着集群系统的发展,集群作业管理系统已成为高性能计算机领域的一个热点问题。本文结合Platform Computing公司开发的LSF集群作业管理系统,对该系统中的资源信息数据和作业运行历史数据进行了研究,分析出系统管理人员难以根据当前系统数据的查询和显示来做出高效而可靠的决策,因而需要设立一个辅助系统来为管理人员更方便地查看和分析数据提供服务。本文首先研究了LSF系统的工作原理和作业执行流程,分析了LSF系统中的两类数据以及当前数据的查询和分析方式,得出系统提供的数据无法满足管理人员的分析和决策需求。本文规划了一个数据收集分析子系统,将该系统划分为数据收集模块和数据分析处理模块分别加以设计。本文在设计该子系统的数据收集过程中,采用了JNI技术来收集系统资源信息数据;在设计数据写入过程中,设立了数据丢失保护机制;在设计数据分析处理过程中,采用了ETL技术和数据仓库技术。最后对设计的子系统进行了总体的功能测试和模块的性能测试,达到了本文的设计目标。
其他文献
当今是高速发展的信息时代,互联网作为这个时代的重要标志,已经渗透到人类社会的各个领域,互联网的核心TCP/IP协议更是在人们日常的网络信息交换中起到了至关重要的作用。然
近年来,对于视频序列中人体运动行为的视觉分析是计算机视觉领域中日益受到重视的一个研究方向。随着时代的进步,这项技术也在不断的发展完善,在未来必将有广阔的应用前景并
软件测试是保证软件质量的一个重要手段。随着面向对象技术的广泛应用,特别是基于统一建模语言(UML)软件开发技术的逐渐普及,为了满足软件测试自动化的要求,基于UML的面向对
随着人类基因组计划的开展与现代生物技术的迅猛发展,生物信息数据的增长呈现爆炸之势,这为揭开生命奥秘提供了数据基础;计算机运算能力的提高和国际互联网络的发展使得对大规
随着移动互联网时代的全面来临,智能手机与平板电脑日趋大众化,移动智能终端已经成为接入移动互联网的最佳入口。互联网、电信网和广电网内容不断相互渗透,逐步形成三网内容业务
移动机器人可以代替人到各种艰苦、危险的野外环境中执行任务,而野外环境具有复杂性、多变性、随机性等特点,为了保证机器人安全、有效的完成任务需要保证地形分类的实时性和适
神经网络集成是目前机器学习的热门研究方向之一,在许多领域有着广泛的应用,如数据挖掘、模式识别、文本分类、预测等方面。神经网络集成通过训练多个神经网络并将其结果进行
在DNA序列中,模体(Motif)就是指DNA序列中保守的序列片段,而从DNA序列中发现这些模体的过程就是模体发现(Motif Discovery),模体对DNA的转录翻译起着重要作用,因此模体的关联
本文在对太阳能电池板工厂自动化解决方案(FAS)结构和功能分析的基础上研究物流传送系统(MHS)的功能,并设计和实现了MHS系统模拟器(MHSSimulator)。本文首先介绍FAS的结构和
USB接口大幅面彩色扫描仪在军用、测绘、印刷等领域发挥着越来越重要的作用,而其通信接口的性能直接影响数据的传输速度,在扫描仪研制中占有重要地位。本文首先论述了USB接口