大规模NetFlow数据上的P2P流量检测

被引量 : 0次 | 上传用户:yinhuali
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着P2P得到越来越广泛的应用,P2P流量检测逐渐成为网络数据分析领域的一个热门问题。有关报告表明,P2P应用所产生的流量占据网络总流量的50%以上。由于P2P应用会导致网络拥塞,对于电信运营商来说,如何从全部网络流量中检测出P2P应用所产生的流量就成为一个非常重要的课题。P2P采用随机端口进行传输的机制,以及P2P系统本身的复杂性、分布性和多变性,都增加了P2P流量检测的难度。本文主要目的是研究如何有效地在大规模NetFlow数据上进行P2P流量检测。目前的P2P检测方法都是针对数据包的,对主干网上数量庞大的数据包进行分析要耗费大量存储和计算资源,因此学术界中大多数研究工作都无法得到实际应用。目前投入使用的P2P检测产品利用串接设备采集数据包内容,并依靠硬件来进行计算,具有部署代价昂贵、可扩展相差、侵犯隐私等弊端。本文用NetFlow数据进行P2P检测,克服了上述问题。NetFlow数据对数据包信息进行了汇总和统计,既保留了体现流量特征的重要信息,又降低了数据量,并且NetFlow技术作为业界标准已经在电信运营商中得到广泛使用。本文的主要贡献包括:1)根据P2P协议的运作原理,推测P2P在流量表现上可能具有的一系列特征。对每一条特征,都通过实验验证它在区分P2P流量和非P2P流量上的效果,根据实验结果选择有效的检测特征。2)设计了一个基于NetFlow数据的P2P流量检测算法。该算法将1)中选取的有效特征,按照检测逻辑组织起来,使检测更加高效。3)基于2)中的算法,实现了P2P流量检测系统INFOPAD。系统利用数据库实现数据的存储,用SQL查询的方式来实现检测算法,很好地解决了对大量流量数据进行存储和计算的问题。在系统中各个检测规则形成独立的模块,新规则可以作为新模块方便地整合到系统中来,系统架构具有良好的开放性和可扩展性。4)对INFOPAD系统采用上海电信路由器上采集的真实NetFlow数据进行实验,并根据上海电信提供的深度包检测(DPI)报告对检测结果进行验证。通过实验证明,INFOPAD系统的检测算法能够达到较高的准确率,并且系统的性能可以达到离线分析的要求。本文实现的检测系统适用于电信主干网络上的P2P流量检测。系统接收路由器输出的大量NetFlow数据并进行离线分析,提交出P2P流量报告。本系统已经在上海电信的日常网络管理中得到应用,和上海电信原来部署的深度包检测(DPI)产品相比,本系统可以达到同等程度的准确率,但是部署代价降低了很多,而且检测算法的维护和更新更加方便。
其他文献
背景与目的:食管癌治疗首选手术,多数患者就诊时已是局部晚期(以Ⅲ期为主)。本研究回顾性分析手术根治切除的食管鳞癌患者的临床资料,以探讨影响患者术后生存的主要因素。方法:收集
近年来,我国各城市的发展与建设速度逐步加快,我国的各类建筑数量不断增加,建筑业出现质的飞跃。当前我国各城市的可用土地面积不断缩减,国内建筑业往后的发展重点会转向高层
目的探讨黏液型铜绿假单胞菌K-B法与MIC法药敏试验结果的差异。方法对该院2015年1-12月住院患者培养出的72株黏液型铜绿假单胞菌同时进行K-B法和MIC药敏试验,在35℃培养48h后
采用电感耦合等离子体发射光谱法进行肉制品中总磷的测定,具有简便、快捷、准确的特点,其结果与重量法一致.磷的检出限为0.01%,线性范围在0.01~70%,相对偏差小于5%.
期刊
<正> 机器人是一种在自动控制下,可通过编程完成某些操作或移动作业等任务的机器。工业机器人是一种有若干自由度、程序可灵活变更、能任意定位、具有独立控制系统的、能抓放
羽毛球运动是我国的竞技体育热门项目之一,深受大众的广泛喜爱。近些年以来,随着各地全民体育锻炼的普遍发展,有越来越多的群众参加羽毛球活动,从而使其得到了快速的成长。在
<正>天津武清和平之君儿童福利院在保障院内孤残儿童养护、医疗、康复、教育、职业技能培训等服务的同时,立足本地社区实际情况,依靠政府、NGO、企事业单位和志愿者,有效利用
近年来,占社会主流的审美音乐教育价值论日益受到挑战,多元文化音乐教育理念日渐凸显。从哲学角度、时代需求和社会现实意义三方面来分析,弱化审美音乐教育的"核心"地位、适
制备了用于局部镇痛的盐酸美西律乳膏,并建立了HPLC法测定1含量。采用YMC-Triart C_(18)柱,以甲醇∶0.1 mol/L乙酸钠溶液(51∶49)为流动相,柱温30℃,检测波长262 nm。盐酸美