大规模网络P2P流量分布式检测与控制系统及其关键技术研究

来源 :浙江工业大学 | 被引量 : 0次 | 上传用户:pooh__5210
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着P2P应用种类和用户规模迅速增长,互联网所面临的网络拥塞、难于保障QoS等问题显得更加突出。以CERNET天津结点(天津教育城域网)为例,由于大多数终端用户使用静态IP地址和高带宽接入,并且作为用户主体的学生经常使用P2P进行文件下载、流媒体观看、即时通信等,使得P2P流量的影响尤为明显,峰值时会占到整个流量的90%,经常引起链路拥塞,严重影响了其它应用的QoS。有效地检测和控制P2P业务流是合理分配网络带宽和满足非P2P业务QoS要求的基础。本文以天津教育城域网为对象,研究在不改变网络结构、不增加特殊监控设备和尽可能减少对实际通信系统影响的前提下,大规模超高速网络环境中P2P流量的检测与控制的方法及应用的关键技术。本文的主要创新点如下:   (1)针对目前对于大规模城域网P2P流量监控实施成本过高,难于实现10Gbps链路流量检测与控制等问题,提出了一种分布式多粒度P2P流量检测与控制(Distributed Multi-Granularity P2P Traffic Identifying and Controlling,DMGPTIC)方法。在控制方面DMGPTIC根据检测结果通过动态分发控制策略,利用路由器QoS和ACL机制实现对P2P流量的限制。实验证明该方法能够动态地将特定IP地址的流量控制在预定的范围内。在检测方面DMGPTIC通过分析来自路由器的符合IPFIX标准的流测量数据,实现了P2P流量粗粒度检测。利用粗粒度的检测结果能够将需要通过基于载荷特征值检测方法进一步处理的数据从整个链路的流量缩减为由五元组或主机IP地址限定的流量。实验结果表明DMGPTIC方法能够将1Gbps链路需要处理的数据量减少到原来1%~10%。该方法能够用于10Gbps高速网络的P2P流量的检测。   (2)针对目前基于流特征的P2P流量检测方法存在实用性差的问题,提出了基于流特征的P2P流量多粒度检测方法。在粗粒度检测方面,提出了基于NetFlow TCP Flag的P2P流检测(NetFlow TCP Flag based P2P Traffic Identifying,NTFPTI)方法,将流量分为P2P流量和非P2P流量,实验证明该方法可以有效地将检测出约80%的P2P流量。在细粒度检测方面,通过对BitTorrent协议的深入研究,提出了结合流特征提取与SVM技术实现特定P2P应用协议检测的方法,实验证明该方法能够检测出网络中的BitTorrent应用流量。该多粒度检测方法对于大规模网络的P2P流量检测具有较高的实用性,检测结果能够直接应用于流量控制。   (3)基于载荷特征值的P2P流量检测系统保持较高识别率的关键是及时准确地更新特征值库。目前特征值库更新主要通过厂商升级和网络管理员添加两种方式,而厂商升级严重滞后和管理员采用手工方式分析P2P载荷特征值带来的低效率,造成系统识别率持续下降。针对该问题,本文提出了一种基于固定偏移量特征值提取(Fixed Offset Signature Mining,FOSM)方法。该方法通过深度分析P2P数据包应用载荷中出现频率较高的字符串来寻找候选特征值。通过与Allot NetEnforcer同步检测实验结果的对比,证明FOSM能够从P2P流量中提取出了20种主要P2P应用的40多个特征值,同时利用FOSM方法发现了3种Allot未能识别的P2P应用。该方法能够有效地提高载荷特征值库的更新效率,使基于载荷特征值的P2P流量检测系统保持较高识别率。   论文研究的分布式多粒度P2P流量检测与控制DMGPTIC方法已经成功应用于天津教育城域网,并取得了预期的效果。该研究成果可应用于大中型宽带城域网络的P2P流量检测与控制。
其他文献
目前,随着网络技术的翻天覆地的发展变化,互联网上的信息资源日益丰富,已经成为人们在日常生活、学习和工作中快速获取信息的重要途径。因此,如何有效地处理网上信息,成为信
随着计算机和网络通信技术的发展,数字签名技术应运而生。但数字签名是传统签名的电子模拟,不能提供代理签名的功能。代理签名是数字签名中的一种特殊的签名形式,是原始签名
随着计算机网络和多媒体技术的飞速发展,互联网已成为人们发送和获得信息的主要途径,但也随之带来了盗版泛滥和侵权行为的频繁发生,因此如何保证多媒体信息的安全已成为当今国际
概率极限理论是概率论的主要分支之一,也是概率论的其他分支和数理统计的重要基础。前苏联著名的概率统计专家Kolmogorov曾说过:概率论的价值只有通过概率极限定理才能被揭示,没
时间同步是分布式系统中经典的课题,是分布式网络计算中的核心技术,随着计算机技术和网络通信技术的迅猛发展,人们对该课题研究给予了更多的关注。 本文主要是在研究网络时间
腹腔主动脉瘤是一种中老年群体中出现频率较高的高危疾病,其外在表现为主动脉的退化性扩张。在腹腔主动脉瘤的诊断中,对瘤体的测量以及其破裂风险的评估是进行手术治疗与否的
云服务提供商通常为用户提供长期预留和短期按需租赁两种资源租赁方式。长期预留方式可获取资源租赁折扣,用户须持续租赁整个工作流的运行时间,资源利用率相对较低;短期按需
机群以其良好的灵活性和可扩展性及性能价格比,获得了越来越多的大学及科研机构的青睐。目前的许多研究是在并行机机群或工作站机群上进行的。本文介绍了并行计算的基本理论及
不确定规划是处理不确定环境下优化问题的理论工具,它提供了随机规划、模糊规划、粗糙规划以及模糊随机规划等多重甚至是混合不确定变量的建模与求解的基本原理。本文所研究的
小水电作为可再生清洁能源,是社会发展的重要组成部分。兴建水利为人类带来经济利益和生活便利,也产生了一系列河流生态问题。近年来,小水电研究随着可持续发展理念以及生态和谐经济理念的提出取得了巨大的进步,尤其是在智能优化调度和设备节能方面有了长足的进步,在调度中考虑生态因素也成为小水电优化调度的趋势。而生态因素衡量标准中最重要的指标就是适宜生态径流值,因此找到合适的生态径流计算方法至关重要。本文改进了适