海量网络流实时处理的优化技术研究

被引量 : 4次 | 上传用户:viery
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
入侵检测系统和防火墙技术是通用网络安全技术,国家主干网络的网络安全应用需要在高速环境下进行网络数据的深度检测,需要高性能的海量网络流实时处理技术作为支撑。随着宽带技术的发展与应用,网络带宽的增长速度已经超越了计算能力的增长速度,成为骨干网入侵检测系统(B-NIDS,Backbone Network Intrusion Detection System)面临的巨大挑战。本文以高速广域网环境下安全检测系统应用为背景,研究计算机体系结构相关的优化技术,包括,如何通过智能网卡提高收包能力,在多核平台下系统软件结构如何设计,怎样保证应用的服务质量等。本文的研究思路是借助计算机体系结构的新技术,解决骨干网入侵检测系统实际运行中的难题,从收包速率,吞吐率,响应时间和服务质量几个指标提高B-NIDS的性能。为了提高网卡的处理能力,缓解主机的性能瓶颈,本文设计实现了一个基于自主开发的智能网卡的TOE系统,实现了高速网络报文接收。在性能分析中,本文根据B-NIDS的特点测试了网络缓冲区不同分配方式下的接收性能和智能网卡的最大处理能力。实验结果表明,智能网卡提高了网络收包速率,在一些情况下甚至可以达到线速。本文从B-NIDS特征分析入手,重点研究与高效的资源管理和快速报文响应密切相关的负载和系统特征,以及相应的优化方法。针对大规模高速骨干网络流量特点,本文设计了一种负载特征分析方法,并基于分析结果给出了优化措施。本文还从节省CPU和内存资源的角度提出了系统优化方法。为了深入地研究单个连接和处理时间的关系,本文从大量流量记录文件中提取了流样本,建立了基准测试集。本文针对多核多线程平台研究了B-NIDS的优化技术。线程级并行体系结构是目前处理器体系结构发展的主要趋势,如何挖掘应用的并行性是面临的重要问题。在高度并行的平台上,优化研究内容包括工作流的深入分析,并发子任务划分,并行任务的负载平衡,并发任务的通信等。本文通过测试现有B-NIDS的性能瓶颈和分析数据流特点,提出了一种无锁队列的同步机制和适合多核平台的三级流水多线程软件模型。采用Sun SPARC T1架构8核32线程服务器从资源占用、吞吐率和响应时间三个方面进行了性能测试,并在曙光x86架构8处理器16核服务器上测试了系统的可扩展性。实验结果表明,系统各性能指标的优化效果明显,在不同多核平台上表现了良好的可扩展性。本文还研究了质量制导优化技术及其性能评价。现存的应用系统在骨干网大规模的流量下,很难保证海量TCP流处理的服务质量,一般采用尽力而为的服务策略。本文通过多队列调度策略可以优先处理用户预定义的TCP流,提高一些特征流的服务时间,从而提高服务质量。本文还提出了基于流速预测和一种过载时的QoS技术。针对应用系统连接数大,负载重和处理多样性的特点,性能评价采用了基于探针流的采样方法,准确测试了优先处理特定IP网段策略下服务质量的提高。
其他文献
<正>华为基本上继承国内的做法,依然坚持:品牌就是承诺,品牌是打出来的,而不是宣传出来的,同时增加了一个:先国家品牌,后公司品牌。只是在传播的路径上有创新。在华为大规模
二战初期,苏军在苏德战场上蒙受重大损失。以中国古代《孙子兵法》所论述的原则简要地分析造成苏军失利的主客观原因,摈弃传统上非理性认识的因素,力求还历史以本来的面目。
目前,我国农村基础教育还比较薄弱,农村教师队伍建设也亟待加强。农村教师数量不足、素质偏低、结构不够合理、编制标准不够科学等问题比较突出,影响了农村教育的质量,从而影
食品安全监管问责失效了吗?现有研究中存在一个隐含的理论假设:分段监管体制下问责失效使得地方政府缺乏积极履行职责的动力。主流文献认为,这是食品安全监管无效的主要原因
下肢静脉曲张是一种血管外科常见病。得益于科学技术的发展,近些年针对下肢静脉曲张的治疗方法发展迅速。本文主要包括中医临床研究进展、西医临床研究进展及腔内激光治疗大隐
在国际调停领域,人们普遍认为,调停者的公正和中立有利于冲突的解决。然而近期学界有新的观点,认为若调停者偏向冲突中的某一方,将更有利于缓解冲突。对这两种相互对立的说法
第二次全国土地调查水域及水利设施用地确权划界存在未划定水利工程管理用地、水库实体面积偏小、未划定河道行洪区等问题,应根据相关法律法规的规定依法划定水利工程管理用
《花间集》中美艳而多情的女性形象的描绘体现了男性理想的期盼,实际上是男性词人对女性心理期待的诗意化表达。其产生原因有三:首先,这与当时女性的地位有关;其次,与当时重
本文试图以存在于英汉文化中的“马”这一寻常事物作为剖析对象,比较英汉语中有关于“马”的种种表示法,以期能在一定程度上把握英汉两种语言文化的基本异同点。马年折射出英
每个人都希望在自己的职业生涯中能够最大限度地发挥自己的潜能,高效地实现自我价值,在事业上取得更大的成就,这就需要对自己进行个人职业规划。中小学教师要想在当今教育改