面向高速流量环境的网络用户识别技术研究

来源 :东南大学 | 被引量 : 1次 | 上传用户:wylaaram
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的快速发展和普及,互联网用户及终端设备数量呈现爆发式的增长。同时,互联网也成为了网络犯罪的温床,各类犯罪事件频繁发生,因此加强对网络的监管势在必行。在此背景下,如何基于网络流量分析实时识别网络用户成为研究的热点。目前大多数研究工作将对用户的识别等同于对终端的识别,当用户拥有多个终端设备,或者终端设备被多个用户共享使用时,其识别准确率会显著降低。这些终端设备识别技术或是利用物理信号区分硬件设备的细微差异,其识别能力较弱;或是利用协议栈的相关参数识别操作系统,其识别粒度不够。而现有的基于网络流量分析的用户识别技术,往往仅利用Web访问记录识别用户,其提取的特征太少、周期太长,无法有效地在线识别网络用户。此外,传统集中式计算技术无法满足高速网络流量数据实时分析与处理的需求。针对上述问题,本论文研究了基于分布式处理的网络用户在线识别技术,并实现了一套原型系统。主要工作包含以下三个方面:1.研究了基于分布式计算的高速网络流量分析技术。利用PFQ内核模块在高速网络环境下抓取数据包,再由分布式消息队列Kafka将数据包传递至分布式处理模块,在完成对报文内容的解析与过滤、应用协议识别、应用程序识别、User-Agent检测以及DNS解析等任务后,提取应用程序、操作系统、User-Agent、DNS域名以及Web访问记录等信息,保存至分布式数据库HBase中。2.研究了网络用户在线识别技术。针对用户终端的运行环境,选择应用程序、操作系统以及User-Agent字段生成设备指纹,共包含961个特征列,并以多种分类算法训练和验证离线分类模型,最后选择逻辑回归模型以滑动窗口方式在线识别用户终端。针对用户的网络行为习惯,选择Web访问记录、DNS域名以及User-Agent字段生成行为指纹,共包含57593个特征列,以多种分类算法训练并验证离线分类模型,最后选择多项式朴素贝叶斯模型以滑动窗口方式在线识别网络用户。网络用户的在线识别准确率可以达到79.51%,同时网络用户的在线识别所需时间可以缩短至5分钟。3.整合基于分布式计算的高速网络流量分析技术和网络用户在线识别技术,设计并实现了网络用户在线识别原型系统,可以在线识别网络用户。综上所述,本论文研究并实现了网络用户在线识别技术,利用PFQ内核模块高速抓取数据包,并分布式地完成对高速网络流量的分析与处理,在此基础上研究网络用户在线识别方法,最终实现了一个网络用户在线识别原型系统,可以有效地在线识别网络用户。
其他文献
为探索不同播种方式的高产效应,明确机播模式下不同行株距配置对芝麻产量的影响,采用大田研究方式,以芝麻品种郑芝98N09和郑太芝1号为材料,系统研究了不同行株距配置条件下的
五位以上的有位贵族依据"官位相当制",在官僚机构内部担任高官,并在服制即朝服和礼服方面与六位以下官人相区别。有位贵族在政治、经济、法律和受教育方面具有很大的特权,享
如何通过语言文字,使广告信息得以被受众所接受、所信服,进而产生购买欲望、施行购买行动,是广告的关键。广告文案作为广告主题、内容的主要表达方式和消费者的说服力量,是广
<正>企业媒体的同仁们研究新闻报道的规律与方法是非常重要的。也许有同志会说,我们的媒体太小,就两个人,甚至就我一个人,没有那么复杂,但是我认为,任何一个媒体,不管它的专
STEM是科学(Science)、技术(Technology)、工程(Engineering)和数学(Mathematics)四门学科的缩写。整合性STEM教育理念旨在将STEM领域的核心内容置于真实的、有吸引力的问题
近年来,小件快运成为了客运企业利润的增长点,而一些内外部因素也抑制了其发展。文章首先分析了道路客运小件快运的内在需要,在分析发展小件快运优势及存在问题的基础上,提出
母语在英语的学习中产生了不可忽视的正、负两个方面的重要影响。特定的汉语语言环境也即我们的母语环境之中,学习英语,应注重母语与英语之间的共性与相通性,积极发挥母语对
日本汉学家合山究教授,2011年出版的专著《<红楼梦>——性同一性障碍者的乌托邦小说》,是日本红学界目前最新的研究成果。合山氏在书中披露了主人公贾宝玉属于性别认同障碍患
1941年12月8日,日本偷袭珍珠港并占领上海租界。进占租界前夕,日本在国家形象包装、媒体宣传战略上精心策划,试图以舆论的力量掩盖世人耳目,顺理成章地达到所谓"解放大东亚"
目的探讨圣约翰草提取物治疗伴有情绪障碍的偏头痛的临床疗效。方法将偏头痛患者127例随机分为两组,即应用圣约翰草提取物为治疗组,应用阿米替林为对照组,进行随机单盲对照研