云计算环境下文件元数据立方体的并行计算方法

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wangxinyu999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算时代的到来,存储系统数据量的增长越来越快,数据管理变得非常困难。如何有效地从大规模存储系统中检索数据,如何有效地对海量数据实施差异性的分层存储将直接影响存储系统的整体性能。文件系统元数据提供了重要的文件特征信息,元数据的有效分析处理将能够对系统管理提供重要支持。在存储领域,文件元数据相关的研究一直广受关注。近几年来,提出了一系列高效的元数据查询方法,元数据的分析也越来越受关注。文件系统的统计信息,如文件大小分布、文件生命周期和用户的访问行为,可以对文件系统设计、元数据查询和存储管理提供直接的支持。数据立方体模型广泛应用于数据库环境,是联机分析处理、决策支持和商务智能的重要工具。数据立方体可以从多个维度对数据进行全方位的统计和分析。利用数据立方体模型对文件系统元数据进行分析处理可以从多个角度反映文件系统的状态,为系统管理员做系统决策提供直接的支持。传统的数据立方体计算,属于I/O和CPU双密集型的任务,并且内存开销大。本文提出的元数据立方体(MD-CUBE)系统,采取数据压缩的方法有效缓解了数据立方体计算I/O密集和内存开销大的问题,并且利用基于多核的并行计算方法加速大规模存储系统元数据立方体的构建。通过收集分布式存储集群中的数十个存储节点的文件系统元数据,构建元数据立方体。实验结果表明,元数据立方体可以高效而准确地展示文件系统的总体状态,为元数据查询、元数据挖掘、存储管理、系统状态分析提供全面的支持。
其他文献
随着信息化的推进,军事、金融、大型企业等应用领域不允许存储系统出现任何不可恢复的灾难性故障,这使得可靠性成为衡量存储系统总体性能的重要因素。磁盘阵列通过冗余技术大大
基于会话初始化协议SIP(Session Initiation Protocol)的网络电话VoIP(Voice OverIP)系统存在性能瓶颈、单点故障以及可扩展性差等问题,为此引入了P2PSIP(Peer-to-Peer SIP)技术,使用
二维不规则零件排样问题在玻璃加工、金属切割、服装等行业都有着广泛的应用,排样的目的是将一系列形状各异的零件排放在给定的材料上,找出零件的最优布局,让材料的利用率最大化
伴随着数字时代各种事物的数字化进程,信息量正以前所未有的速度急剧的增长,对存储系统容量的需求也在同步增加,存储系统逐渐成为信息系统里的一大瓶颈。而传统磁盘是信息的最主
现今网络技术高度发展,一种或多种用户需要的功能都可以抽象成Web服务,服务提供者将其业务封装为Web服务并对外发布,用户根据自身业务需求,查找满足自身需求的服务并进行消费
光纤通道具有高速、低延迟、高可靠、传输距离远、可扩展性好等特点,其成为目前存储区域网络(SAN,Storage Area Network)的最主要的互联技术。在存储网络的数据访问过程中,RDMA(Rem
近年来,随着数字化技术的飞速发展,多媒体资源的应用也越来越多,其中视频数据具有蕴含信息量大、直观和表达能力强等优点,渐渐地受到人们的青睐,已经成为日常生活中最重要的
人脸检测是计算机视觉和模式识别领域的研究热点,随着20世纪90年代,人脸检测作为一门单独的领域被研究,至今人脸检测技术已渐趋成熟。但是,人脸作为一个三维刚体,随着人脸角度、摄
随着企业信息化的深入,IT在企业业务发展中扮演着越来越重要的角色。在一些大规模的企业里,IT本身已经成为一个非常庞大复杂的系统。数量庞大的IT资产的管理;快速变化和发展
光盘信道检测技术是光盘读通道研究的核心技术。光盘信道检测技术对于红光高清光盘(Next-GenerationVersatileDisc)伺服系统设计和误码率测试具有重要意义。信道检测技术研究