论文部分内容阅读
互联网作为20世纪发展最为迅速的技术之一,已经成为现代信息社会最重要的基础设施,成为国家进步和社会发展的重要支柱。随着光通信技术和宽带无线通信技术的快速发展以及新一代互联网体系结构理论研究的突破,一个以“更大、更快、更及时、更方便、更安全、更可管理和更有效”为主要特点的新一代互联网将走进我们的工作和生活。互联网的快速发展在给我们的生活带来了很多的便捷和机遇的同时,也使得我们了解和掌控其运行规律面临新的挑战,原有的测量方法和技术已不能满足需要,寻找能够满足高速网络测量需要、具有扩展性的网络测量技术成为当前亟待解决的问题。在网络流量测量初期,传统的方法是全数据测量虽然准确,但处理速度慢、产生数据量大,所需存储空间大等等。网络流量抽样技术很好地解决了传统流量测量方法的缺点,使得在合理的误差范围内,满足应用的需要。然而,随着链路速率的提高,数据包均匀抽样技术测量不准确的缺点已难以满足需要。一种新的解决方案是根据不同应用的具体需求,有针对性地选择处理方法。网络中的流服从“重尾分布”的特性被发现后,根据该特性提出大流识别方法和数据包公平抽样算法成为研究的热点。基于以上网络流量测量的分析,本文主要进行了以下方面的研究:1.首先,总结现有大流识别方法;其次,在已有研究工作的基础上,选择两种较受关注的算法---LLR算法和Space Saving算法,分别从原理、理论分析进行了剖析,并使用网络真实数据进行了实验验证;最后得出结论,Space Saving算法的空间复杂度、时间复杂度和假阴性误判率等指标均略优于LLR算法。实验结果显示,在分配内存空间相对小,取PT=0.01%时,Space Saving算法的平均假阴性误判率在一定范围内低于LLR算法平均假阴性误判率;而随着内存的增大,两种算法的误差率不断变小,且越来越接近,最终趋近于0。2.针对LLR算法存在的问题,做出三点改进,提出一种基于LRU淘汰机制和stream summary数据结构相结合的大流识别算法。通过分析算法的复杂度和基于互联网采集数据的实验比较,结果均表明,与已有算法相比,该算法在保证准确性的条件下,节省了较大的存储空间,提升了算法应用的扩展性。3.针对现有数据包抽样算法小流量估计误差大的缺陷,提出一种新的数据包抽样算法。该算法根据到达数据包所属流大小的估计值设置包抽样率,使得大流所含数据包抽样率低,小流所含数据包抽样率高。理论分析和实验结果均表明,与已有算法相比,该算法具有更高的准确性和良好的扩展性,更适合于工程应用。