【摘 要】
:
现阶段,云存储是大数据时代背景下存储数据有效而关键的技术。但是由于云服务器中存储过许多文件或者数据块,当重复存储相同的文件或者数据块时会浪费云服务器资源,因此需要
论文部分内容阅读
现阶段,云存储是大数据时代背景下存储数据有效而关键的技术。但是由于云服务器中存储过许多文件或者数据块,当重复存储相同的文件或者数据块时会浪费云服务器资源,因此需要对数据进行消冗处理。然而,在数据消冗过程中存在消冗时间过长并且云服务器资源利用率不高的问题。因此需要加速数据的消冗处理,提高云服务器的资源利用率。本文提出了基于消息传递接口与四级流水的云存储中并行数据消冗策略,其中客户端采用四级流水的并行数据分块策略来加速数据的分块处理(即读文件、数据分块、数据压缩、计算指纹);云服务端主节点接收到多个数据块与分块元数据之后,通过MPI将接收到的分块元数据平均分配给每一个从节点,每个从节点在全局布隆过滤矩阵上进行数据消冗处理,当由于哈希冲突而发生假阳性误判时,在二级索引结构上进行消冗处理,进而多个从节点对数据块进行并行数据消冗处理,将没有数据冗余的数据块存储到相应的从节点上,最终完成云存储环境中数据的消冗处理。实验部分包括三部分,一是客户端采用四级流水的并行数据分块策略来对文件进行分块处理(即读文件、数据分块、数据压缩、计算指纹);二是云服务器采用Virtual Machine与MPI搭建多节点的并行计算环境,其中一个节点为主节点,其余节点为从节点,操作系统选用Cent OS7,分别验证对于2.19MB与300MB的文件在从节点数量分别为4,8,16,24,32时的并行数据消冗时间与完整处理流程的总时间;三是验证云服务器采用二级索引结构进行数据检索能够提升索引性能。实验结果表明,客户端采用四级流水的并行分块策略相比于单核处理器进行分块的方式能够极大地提升数据分块速度;云服务器采用基于MPI的并行数据消冗策略相比于将每一个数据块发送给每一个从节点进行数据消冗处理的策略能够在很大程度上减少数据消冗处理的时间,并且数据块越多,这种趋势越明显;云服务器采用二级索引结构进行数据检索相比于采用链式哈希索引结构进行数据检索能够减少数据检索的时间,进而能够提高数据检索的性能,并且当文件越大时,数据检索的效率就越高。
其他文献
<正>自1991年正式实行立法规划制度,全国人大及其常委会的立法围绕立法规划展开,最终完成的立法项目大都是立法规划内的项目[1],这种效率取向的立法制度是否妨碍代表行使提案
伴随着数量庞大的农民工人口的不断增长,农村出现了越来越多的留守儿童。在推进城乡义务教育一体化发展的工作过程中,“关注特殊群体,着力促进教育公平”被作为一项主要措施提出,其中,“关爱农村留守儿童,健全留守儿童关爱保护体系”是《国务院关于推动城乡义务教育一体化发展提高农村义务教育水平工作情况报告》中重点阐述和重点要求的重要内容。农村留守儿童的学习问题是其教育问题中的重点。农村留守儿童作为处于义务教育阶
传统文化在设计的发展进程中贯穿始终,深入学习和发掘本民族传统设计文化的精华并加以继承,是中国设计走向现代化和全球化的唯一途径。
○当○前○未○成○年○人○犯○罪○的态势分析、成因及预防对策王子孝李康熙一、未成年人犯罪的态势分析近年来,未成年人犯罪不仅在数量上一直呈被动型上升趋势,特别是进入90年
我国老年人口比例逐年上升,而养老服务的供需未能达到很好的平衡,养老已日益成为我国社会发展的一个重要问题。随着我国政府部门对养老服务业的重视与互联网科技的普及,智慧
详细分析了近年来甘肃陇东黄土高原地区苹果栽培中发病范围广、危害程度较重的苹果腐烂病、苹果霉心病、苹果轮纹病以及苹果棉蚜等四种主要病虫害的发病症状、危害部位、危害
微信在极大改变人们传统生活交流方式、优化人际社交模式的同时,因其自身尚存的技术缺陷及监管方面存在的法律漏洞,导致微信也在一定程度上逐步成为网络犯罪、金融犯罪、诈骗
土壤呼吸及其对温度的敏感性是预测碳循环过程的重要参数,近年来受到了广泛关注。但在黄土高原地区,不同深度土壤微生物呼吸特征及其对温度变化响应的相关研究尚未见报道。本
十九大以来,习主席发表了一系列重要讲话。习主席善于引用经典诗词,且古为今用,形成了自已独具特色的演讲风格。中国古诗词是中国传统文化的瑰宝,其整齐简约的言语形式中蕴含着丰富的情感内涵。中国古诗词极富有想象力,给读者留下了广阔的想象空间。因此,许多的国内外学者对中国古诗词进行了包括社会学,修辞学,翻译学等多方面的相关研究。随着认知语言学的发展,已有学者对其从认知的角度进行研究,但他们也主要停留在语言的
随着人们对汽车舒适性要求的日益提高,开展汽车的振动控制研究具有重要的现实意义。目前,采用动力吸振器是抑制结构振动的一种有效手段。然而,传统的被动吸振器仅在窄频带范