基于指纹前缀分派数据块的并行重复删除

来源 :2015中国计算机应用大会暨2015年大数据与物联网在工业中的应用会议 | 被引量 : 0次 | 上传用户:billhe123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,现代企业需要存储的数据越来越多,然而研究表明,各种应用系统中存储的电子数据存在平均约60%的重复数据,并且随着时间的推移不断增长.重复数据删除技术应运而生,并且已经在业界得到了较好的应用.然而在实现数据块级别的重复数据删除过程中,索引的查找匹配是影响整体存储系统性能的瓶颈问题.基于此,提出了一种并行的重复数据删除系统模型,采用流水线的方式来部署整个重复数据删除系统,根据指纹前缀区分不同的数据块,将数据块部署到相应的存储节点,提高了系统的可扩展性,实验表明系统的吞吐率得到了提高.
其他文献
交通信号灯的识别是实现无人驾驶车载视觉重要的一步.本文提出一种基于先验知识和优化阈值分割的交通灯识别算法.该算法利用差分GPS信息和道路标记软件获取交通灯先验知识;在
随着教育理念的逐渐进步,在小学教学中,愈发强调对学生的心理健康教育.对于低年级的学生而言,班主任对他们开展的心理健康教育,能够让他们在初步进入学校之初,就建立起有利于
Spam网页主要通过链接作弊手段达到提高搜索排名而获利的目的,本文根据链接作弊的特征,构建链接相似度和作弊系数的评价指标,研究出Spam网页的识别算法.借鉴BadRank算法思想,
随着素质教育的不断深入发展,小学综合实践活动课程的资源开发也越来越受到关注和重视.通过综合实践活动去深入的开发地方特色的课程资源,把教材和实践进行有机的结合,要注重
重庆,以其浓郁的麻辣火锅,和重庆人如火锅一般热辣直爽的性格在全国独树一帜。“山城”、“雾都”的美称更为这座直辖市披上了一层浪漫惬意的薄纱。可很少有人知道,对于重庆
河北省国际信托投资公司:你公司《关于缓缴罚没款的请示》([99]冀信字第12号)收悉。鉴于你公司的实际情况,根据《行政处罚法》第五十二条的规定,同意你公司缓缴罚、没款的申
5月16日,苏迪曼杯赛开始前3天,与中国队同处A组的印度队传来不幸消息,该队头号女单内维尔受伤,无法随队出征苏杯赛。据《印度时报》报道,内维尔是因为脚趾撞到了门,导致骨裂
如今汽车越来越普及,这为人们的出行提供了诸多方便,但也造成了严重的交通问题。智能交通有利于缓解道路的交通压力和降低交通事故发生的频率,是目前交通管理的发展方向。为了实
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
5月12日,第十二届全运会羽毛球比赛的抽签仪式在安徽淮北举行。伴随着男女团体及5个单项的抽签结果依次出炉,一场火花四溅的激战场景仿佛就在眼前。四年一届的全运会在各地方