Bloom Filter改进及其在分布式系统中的应用研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:style_xo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Bloom Filter采用一个位向量表示数据集合并且利用Hash函数有效支持查找。它能很好的解决一个问题:判定某个元素是否属于给定集合。在分布式应用环境中,Bloom Filter 在资源定位、路由查找等各方面都能够得到很好的应用。 近年来,针对Bloom Filter的基本原理存在多种改进,其中主要包括计数型Bloom Filter、压缩型Bloom Filter和拆分型Bloom Filter。计数型Bloom Filter能弥补平凡Bloom Filter的一个缺陷:只能往Bloom Filter中增加元素,而不能用于集合中元素的删除;压缩型Bloom Filter结合了数据压缩理论,因而在分布式应用中,能有效地降低网络中Bloom Filter的数据传输量;而拆分型BloomFilter能较好地缓解分布式环境下集合元素动态增长的问题。 经过对Bloom Filter及上述改进的分析,本文提出两种新型Bloom Filter:一种是K分组合型Bloom Filter,和拆分型Bloom Filter一样,它针对的也是分布式环境下集合元素动态增长带来的平凡Bloom Filter失效问题,本文主要把它与平凡Bloom Filter和拆分型Bloom Filter作比较并给出指标分析,证明其能在误称率、向量空间和平均判定时间三个指标中得到更好的平衡;第二种改进型Bloom Filter是完全组合型Bloom Filter,它能完全消除平凡Bloom Filter引起的外部冲突,虽然增加了一些空间代价,却比平凡Bloom Filter有着更低的误称率,因而能得到更有效的应用。本文还讨论了Bloom Filter中使用的hash函数分布概率,给出了一个能对所有分布都进行分析的一般评价指标。 最后,讨论了Bloom Filter以及本文提出的新改进型Bloom Filter的在分布式系统中的一些应用,并针对其在Web Cache中的应用给出模拟实验结果并进行分析。
其他文献
电子商务是当前各国研究的热点。电子商务是以协议为构成框架的,电子商务协议的安全性是决定电子商务发展的关键因素。安全电子商务协议,是使用了密码学方法的协议,其目的就是为
数据访问功能是应用程序最基本的功能,随着技术的不断发展,形形色色的数据访问技术被提出,并在各种各样的应用程序中发挥着越来越巨大的作用。然而数据访问技术越发展,其种类就越
嵌入式系统中的能耗问题是与嵌入式设备的便捷相应而生的,由于嵌入式应用的不断丰富,系统能耗快速增长,但目前作为唯一电源的电池技术进展赶不上能耗的增加。由此造成嵌入式系统
蜂群算法是模拟蜂群觅食、选择蜂巢位置以及蜂群婚配行为的群智能优化算法,具备参数设置少、操作简单、易于实现及鲁棒性很强等诸多特点,应用于求解各种组合优化和连续优化问题
网格将高速互联网、计算机、大型数据库、传感器、远程设备等融为一体,集成为一台能力巨大的超级计算机,提供计算资源、存储资源、数据资源、信息资源、知识资源、专家资源、设
随着人们对iOS系统认识的不断深入,面向该系统的软件开发也日渐普及。本文针对该平台在推广应用过程中出现的跨平台数据库访问问题,从不同数据库平台的实现角度出发,分析了传
Zigbee是一种新兴的无线监控协议,用于实现一个传感器网络,其技术正逐步成熟。一个Zigbee监控系统由Zigbee传感器、Zigbee数传平台和监控软件三部分组成。Zigbee数传平台负责用
近年来,随着多媒体技术的发展,视频在人们的生活中扮演着越来越重要的角色。人们对于视频的质量有了越来越高的要求,视频的数据量因此变的越来越大,给视频网络带宽和存储介质带来
伴随着计算机硬件的飞速发展,数据库的联机事务处理(OLTP)性能在不断的提高。但是由于计算机应用技术在日常生活和工商业中的应用越来越广泛,人们对数据库的OLTP能力也有了更高
电子商务的优势使越来越多的交易在网上进行。智能Agent技术引入到电子商务中使网上交易的各个阶段实现自动化、智能化成为可能。谈判作为交易过程中的一个重要环节,是买卖双