高性能内容过滤与分发技术研究

被引量 : 4次 | 上传用户:haidiaiqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络带宽和业务流量的迅猛增长,数据包内容过滤技术面临高性能挑战,即如何满足深度数据包检测(Deep Packet Inspection, DPI)的线速处理和低存储空间需求。随着网络规模不断扩大、节点呈现出动态性和异构性,P2P内容分发技术面临高性能挑战,即如何在大规模网络中实现高效、健壮和可伸缩的内容分发。本文研究高性能数据包内容过滤技术,探讨如何折衷考虑DPI的时间和空间需求;研究高性能P2P内容分发技术,探讨如何折衷考虑内容分发的效率、公平性和负载均衡等。(1)高性能数据包内容过滤技术包括基于硬件的数据包预处理方法和特征匹配算法:快速哈希表存在更新开销高和片外存储空间需求大等问题。本文提出了一种基于双计数布鲁姆过滤器的哈希表(Double-counter Bloom filtered Hash Table,DBHT)。双计数布鲁姆过滤器采用插入和删除计数器,分别记录每个存储桶中插入和删除的元素个数。实验结果表明,DBHT是一种时空高效的哈希表,即显著减少更新操作的片外存储器访问次数和片外元素个数,仅需要增加少量片上存储空间大小。特里位图内容分析器存在更新开销高和假阳性访问次数多等问题,而共享节点快速哈希表存在更新开销高和存储空间需求大等问题。本文提出了一种索引拆分布鲁姆过滤器(Index-Split Bloom Filter, ISBF)。在ISBF中,元素的片外索引值被拆分成多组比特,每组比特采用多个片上并行计数布鲁姆过滤器表示元素集。为了降低ISBF的更新开销,本文又提出了懒惰删除算法和空缺插入算法。实验结果表明,ISBF支持快速和存储高效的查找,即显著减少片外存储器访问次数、处理时间以及片上和片外存储空间需求。比特拆分字符串匹配算法存在不必要的状态迁移问题。本文提出了一种字节过滤字符串匹配算法(Byte-Filtered String Matching Algorithm),即在比特拆分字符串匹配之前,采用布鲁姆过滤器预处理数据包内容的每个读入字符。实验结果表明,与比特拆分算法相比,字节过滤算法减少了字符串匹配时间和状态迁移次数,从而提高了DPI的吞吐量。扩展有限自动机是在状态上增加辅助变量及操作指令,从状态方面减少正则表达式匹配的存储空间需求。本文提出了一种基于紧凑型有限自动机(CompactFinite Automaton, CFA)的正则表达式匹配算法,从迁移边方面进一步减少存储空间需求。CFA采用基于优先级的迁移边压缩方法,压缩相同目的状态最多的迁移边;采用基于位图的迁移边查找方法,并行查找不同优先级的迁移边子集。实验结果表明,CFA显著减少迁移边条数和存储空间大小,且在匹配时间上与扩展有限自动机基本相同。(2)高性能P2P内容分发技术包括BitTorrent性能优化方法和基于DHT的负载均衡广播算法:BitTorrent的上传节点和请求节点之间存在“供需悖论”问题。本文提出了一种基于动态配额(Dynamic Quota)的节点选择策略,即按照投资收益原则,上传节点动态地分配TFT算法和OU算法的上传配额。实验结果表明,基于动态配额的节点选择策略是一种效率和公平折衷的方法,即以多上传部分文件块为代价来提高BitTorrent的下载效率。分析自私节点的搭便车(Free Riding)对BitTorrent性能、公平性和健壮性的影响。本文提出了一种基于活跃度(Activeness)的种子节点阻塞算法,即定义请求节点的可用下载带宽和可用上传带宽的比值为活跃度,种子节点优先选择活跃度高的请求节点来上传文件块。实验结果表明,基于活跃度的种子节点阻塞算法不仅抑制自私节点的搭便车,而且提高良性节点的性能,从而增强了BitTorrent健壮性。已有的基于DHT的广播算法是利用贪婪的指针路由算法来构建分布式广播树,存在可伸缩性差和负载不均衡等问题。本文提出了两种基于DHT的轻量级广播算法。当节点标识符空间是均匀分布时,提出了基于令牌(Token)的广播算法,即每个节点根据令牌值从指针节点中选择其孩子节点;当节点标识符空间是任意分布时,提出了基于分割(Partition)的广播算法,即每个节点将整个节点标识符空间分层分割为两个子空间,并选择子空间的代理节点为其孩子节点。实验结果表明,基于令牌和基于分割的广播算法可构建一颗可伸缩和负载均衡的分布式广播树,而不需要额外的状态存储和链路维护等开销。
其他文献
针对稠油开采和管输过程中存在的高粘度,高密度等问题,对坨5井原油乳化降凝降粘进行了试验,结果表明,高凝稠油乳化成的O/w乳状液可以使稠油凝点总体降低10℃以上,降粘率达到90%,乳化
历经大规模迅速发展,中国成为全球鞋产业第一国,如何找到下一个突破口,单从学习先进技术、创新发展模式、转移地区、控制劳动力成本等是很难达到转型升级目标。本文通过对鞋
根据中央有关部门关于以构建政法业务综合素质培养为基础,以职业精神、基本技能和专业能力教育培养为核心,探索教、学、练、战一体化人才培养模式的改革精神,公安院校开展了一系
随着空间科学技术和遥感技术的发展,遥感图像已成为对地观测的重要数据源。但由于原始遥感图像存在多种形式的几何变形,必须经过一定精度的几何校正处理才能有效利用,因而对
利用一区域数学模型,采用有限元法对二维倾斜封闭方腔内自然对流换热现象进行了研究。通过数值模拟得到了倾斜封闭方腔内的流场、温度场、高温壁面局部Nusselt数和平均Nussel
由于课堂时间的局限性,课堂上教师不能给学生足够的时间让学生思考和讨论.学生没有足够的思考时间,在课堂活动中,自主探究、合作交流等课堂活动就会匆匆带过.对于学困生更是
[目的]探讨优质护理示范病房的病人对优质护理的真实性感受,进一步扎实推进优质护理的开展,为病人提供满意的服务打下基础.[方法]采用现象学研究方法,对某省级三级甲等综合性
进步教育运动是美国社会转型期第一次教育改革,在此期间,美国幼儿教育发生了巨大的转变。进步教育运动推动美国幼儿教育实现了从少到多、从私立到公立、从德国式到美国式的一
刑罚的人道性、公正性、社会化是人类自身价值珍重的必然要求,刑罚的日益轻缓化催生了缓刑制度,缓刑制度是人类文明进步和刑罚制度发展的产物。自1870年北美波士顿釆用缓刑制
钱氏家族自五代钱镠开创吴越国后,历经宋元明清并时至今日千年不衰。钱氏家族并能够在各个历史时期涌现出知名人才,有着其独特的内在原因。本文正是对归宋后吴越钱氏后裔钱惟