基于多核平台的高速网络数据捕获和并行处理研究与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:hnaylz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
IT业界的发展日新月异。在计算机软硬件方面,CPU架构多核化和编程模式并行化的趋势越来越明显。随着带宽的日益增加,网络数据量爆炸式增长。物联网热的兴起更是加剧了对网络数据快速处理的需求。多核已经成为桌面处理器的主流,软件系统如何有效利用其架构优势成为研究热点。本文紧跟发展潮流,提出了一种在多核多线程平台下,对网络数据捕获和数据处理两部分进行并行化的方法。本课题可应用于多核平台下网络监控的相关系统。课题属于网络内容安全领域。本文对该领域发展前沿做简单介绍之后,针对数据捕获和并行处理两部分,简要分析了技术背景和现有解决方案的优缺点。接下来,文章详细阐述了作者对这两部分的改进。首先分析了网络数据报文捕获技术的特点和要求,以及现有的实现方式;通过对网卡硬件收发数据包过程的研究,得出影响接收数据包性能的主要因素之后,设计出了改进型零拷贝网络数据包捕获平台。该平台通过DMA方式,网卡接收到的数据包被直接发送到用户空间的接收缓冲区中,有效地减少数据拷贝、系统调用的次数和CPU的处理时间,提高捕获性能。接着,本文全新设计了网络数据并行处理方式。该设计遵循并行开发模式,充分利用了多核多线程硬件架构的优势。在分析了TCP/IP协议栈的工作原理的基础上,本文总结了串行协议栈数据处理方式的瓶颈;针对串行协议栈不能充分发挥逐渐普及的多核优势问题,对协议栈进行并行处理,在新平台上提高系统的硬件利用率和整体性能。最后,本文对整体设计方案进行了说明,并对数据分发器和上下层接口的设计进行了阐述。在分析现有相似设计方案缺点的基础上,全新设计了适用于并行协议栈数据处理的分发器。对系统进行的实验测试表明,改进型零拷贝、数据分发器和协议栈并行处理的耦合有效地提高了系统的整体性能,尤其在多核处理器平台下具有良好的效果。
其他文献
传统手写输入法在文字录入的过程中,用户免不了要进行检查识别结果是否正确和从识别候选列表中选择正确的识别结果的操作。这样的操作会打断用户书写思路,书写过程难以连贯、
信号的恰当表示是信号与信息处理的核心任务之一。对于许多实际信号,如蝙蝠发出的超声波、鲸鱼的叫声等生物信号,以及雷达声呐等人造系统产生的信号,其瞬时频率的变化规律反映了
数字视频技术在通信和广播领域有着广泛的应用,特别在二十世纪九十年代以来,伴随互联网和移动通信技术的飞速发展,视频在互联网和移动网络中的处理和传输技术成为我国信息化
多目标跟踪技术广泛应用于弹道导弹防御、空中预警、空中多目标攻击、战场监视、城市安保、虚拟现实中人机交互等领域。随着传感器技术的日益完善和机器人技术发展要求,基于
随着网络规模不断扩大,网络复杂性不断增加,如何实时保证网络系统稳定、可靠的运行,就成为摆在管理人员和技术负责人面前亟待解决的问题。传统的网络故障监测模型在系统资源负载
在当今社会类型各异的突发公共应急事件层出不穷的情况下,城市应急指挥系统越来越受到人们的关注。近年来中国各大城市都在积极进行城市综合应急指挥系统的建设,上海作为一个
信息技术的发展和Internet广泛深入的应用使嵌入式系统成为电子计算机行业的热点。嵌入式系统技术上的成就为航空航天、工业控制等技术领域上的探索提供了更加科学和有效的手
随着高速公路和隧道的飞速发展,由此带来的交通事故不断增加,抛洒物事件作为一个频繁发生的交通事件,其引发的交通事故及潜在的安全隐患已成为急需解决的问题。如何及时准确
利用BP神经网络可以进行入侵检测分析,但识别率低。AdaBoost集成算法通过集成多个有差异性的BP神经网络,可以提高识别率。但随着网络的迅速发展,在面对海量数据时,传统的串行
海洋平台是海上开采作业的大型工业设施,其服役环境复杂多变,很难在实验室中模拟,需要通过长期原型监测来获取环境荷载与结构响应数据,并将其作为平台健康状况的重要参考。基