基于MongoDB的BESⅢ分布式计算记账系统的研究与实现

来源 :苏州大学 | 被引量 : 0次 | 上传用户:Mciael
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
北京谱仪Ⅲ(BESⅢ)高能物理实验每年产生PB量级的实验数据,实验人员需要对海量数据进行处理和分析。为此,BESⅢ实验于2011年开始联合多个合作单位构建统一的分布式计算平台,以应对大数据量对存储资源和计算资源提出的挑战。对于大规模的网格系统,需要有效的记录和分析资源的使用情况,提高资源使用效率。网格记账系统是记录网格环境下资源使用情况的系统,对于BESⅢ分布式计算平台记账系统来说,它的作用不仅仅是测量和记录网格环境中各种操作的资源消耗情况,还包括对这些信息进行有效的分析和使用。本文主要对BESⅢ分布式计算平台记账系统的设计和实现进行了研究。主要的研究内容如下:  (1)对记账系统的功能模块设计进行研究。在信息收集模块的设计上,针对传统的日志解析框架带来的记账延迟问题,提出了一种及时记账框架,实现快速记账;在存储模块的设计上,以MongoDB为基础,反范式化数据建模,采用复合片键对数据进行分片,提高系统可扩展性,并通过副本集策略提高系统可用性。  (2)对统计查询的实时响应问题进行研究。对用户查询请求进行了分析,提出了一种基于动态时间窗口的数据压缩算法。该算法可以根据数据存在时间的不同对数据进行不同程度的压缩预处理,在保留必要信息的基础上,极大地压缩了数据量并减小了计算量,使统计查询的效率大大提升。  (3)对记账系统进行整体实现。搭建了MongoDB集群作为系统底层存储平台;基于matplotlib设计实现了绘图类,提高用户查询结果展示的丰富性。基于runit机制实现了服务的持久化,提升系统的健壮性。最后,对系统的性能进行了比较测试。
其他文献
学位
随着Internet的发展,电子商务已成为当前一种重要的商务方式。在商务活动中,买卖双方在交易时必然会因商品属性的要求不同而产生冲突和争议,这时一般采用谈判方式来达成共识。传
随着计算机技术、宽带网络技术、大容量存储技术以及多媒体技术的飞速发展,以Internet为载体的网络广播日益兴起,这些极大地推动了网络新媒体的迅猛发展。本文在研究了新媒体、
互联网已经成为目前最为重要的广告媒介之一,它能够以低成本将商品和服务向全世界的各个角落展示,这种独特能力吸引了众多的网络广告投资,也无形中带动了互联网的发展。在几年前
语义Web通过本体技术为Web资源提供了丰富的可供机器处理的语义信息,使得机器可以利用这些语义元数据进行自动化的信息访问,从而提供一种高质量的新服务。同时,语义Web研究的兴
数据挖掘的任务是发现大型数据集中隐藏的、预先未知的知识。关联规则的挖掘是数据挖掘研究的重要问题之一。该问题自1993年被R.Agrawal等人提出以来,一直受到广泛关注和重视。
IP存储是当前信息技术领域中一个热门的研究方向。iSCSI技术是IP存储的底层存储协议,它的目的是在TCP/IP网络上实现SCSI传输协议。RAID(磁盘阵列)存储系统是构建大型存储系统
由于MAS运行的环境多是动态的、开放的、复杂的和分布的,不同的AOSE侧重的开发环境不同,因此在开发MAS中使用的模型和过程也不尽相同,这在一定程度上阻碍了AOSE的发展进程。本文
随着高技术武器的飞速发展,如何精确快速定位战场重要目标成为军事家所关心的一个重要问题。日益增多的遥感图像为此提供了一种方便简洁的途径,本文从战场空间信息的快速更新需求出发,对基于遥感影像配准的建筑物高程自动获取以及基于遥感影像控制点匹配的战场目标快速定位进行了研究,其主要工作如下:1.研究了遥感影像几何纠正和影像配准的基本原理、方法、过程和主要问题;2.改进了摄影测量的铅垂线轨迹(VLL)法,并利
随着互联网的飞速发展,网络安全问题也日益严重。入侵检测技术是继传统安全保护措施之后出现的一种积极主动防御的新一代安全保障技术,而Snort是其中基于规则匹配的一种入侵检