【摘 要】
：
全球数据量爆炸式增长,单节点重复数据删除系统已不能满足性能需求,集群重复数据删除系统应运而生.如何提高数据传输效率、节约网络带宽和增强系统的可扩展性,成为当前面临的
【机 构】
：
国防科学技术大学计算机学院,湖南长沙410073
论文部分内容阅读
全球数据量爆炸式增长,单节点重复数据删除系统已不能满足性能需求,集群重复数据删除系统应运而生.如何提高数据传输效率、节约网络带宽和增强系统的可扩展性,成为当前面临的严峻挑战.提出一种基于历史数据信息的一致性哈希路由策略,通过在本地缓存热点数据块指纹,数据路由前先在本地索引,可以大大减少索引消息请求数量,并且采用一致性哈希的路由策略,有效的缓解集群系统中动态扩展存储节点导致的全局数据重删率急剧恶化与负载不均.我们在三类真实的数据集上进行试验,能减少20％～80％的指纹消息请求,动态扩展存储节点导致数据缩减率降低保持在33％以下,并且能够很好地保持系统节点间负载均衡.
其他文献
请下载后查看，本文暂不支持在线获取查看简介。
Please download to view, this article does not support online access to view profile.
本文通过采集杭州市区移动3G网络流量日志,首先采用空间点模式的分析方法研究了城市居民的聚集模式,居民移动的距离、方向等方面的特征,之后采用网格的方法对城市空间进行分
为进一步推进医疗保险改革,完善城镇居民基本医疗保险制度。2011年5月29日,北京市发布医保惠民新政《关于城镇居民基本医疗保险有关问题的通知》,明确从今年1月1日起,本市参
实体解析在数据库管理、信息检索中均有广泛应用,大数据时代的到来使得实体解析在海量数据的处理上面临新的挑战.为适应海量数据的实体解析工作,提出基于块依赖的并行实体解
什么样标准的别墅是一个好的别墅?第一是地段,第二是自然环境。6月28日,由太原搜房网主办的以“太原别墅居住文化发展和产品创新”为主题的大话地产论坛在太原举行,盛高、得
大规模并行模拟是研究大数据体系结构的重要方法,对大数据应用及众核体系结构的发展有着不可替代的推动作用.然而,目前的模拟技术不能满足大数据体系结构研究的需求,主要体现
四川省科委于1998年4月28日在邮电部第五研究所主持召开了专家评审会，对我所“具有VS接口的数字用户环路传输系统”今报国家级新产品进行评审。评审会由省科委计划处李处长主
针对时空轨迹大数据广域网分布存储条件下的群体行为模式挖掘问题,本文基于MapReduce和ACO (Ant Colony Optimization)算法提出可在广域网环境分布并行增量执行的DPIA(Distri
面对大数据大容量、高速率和多样性的特点,传统关系型数据库不再能满足处理海量非结构化数据的需求,越来越多的数据中心开始使用以NoSQL数据库为主,多个数据存储组件相互协同
在高速主干网络中,随着网络链路速率的不断提高和网络流数量的急速增加,同时受到硬件计算和存储资源的限制,如何及时、准确地在海量数据中,有效的检测出其中的大流信息,成为