基于行为相似性的网络用户识别系统设计与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:zlongtime
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社交网络用户身份识别是网络用户研究的一个重要领域,在跟踪用户行为、检测非法活动中发挥着重要的作用。然而在现有的用户识别方法中,用户信息的收集存在一定困难,因此大部分方法属于课题研究,处理数据量较少,难以用于实际工程领域。现有方法的识别准确率有待提高。因此对网络用户识别算法进行研究,设计实现一套能够应对大规模数据处理的高精度的网络用户识别系统成为了一个重要的研究方向。本文对网络用户识别中的Learning from Positive and Unlabled Example(PU_learning)算法进行了研究和改进,并设计实现了一套基于行为相似性的网络用户识别系统。本文所做的工作及取得的成果如下:(1)在充分调研网络用户识别、机器学习等相关算法和技术的基础上,理清现有方法与技术的不足,重点研究了半监督学习领域的应用。(2)改进了 PU_learning算法。从时间和空间的角度出发设计用户行为特征,将传统的PU_learning算法与GBDT(梯度提升决策树)结合,以迭代训练的方式逐步提高模型精度,用于识别跨平台的网络用户。实验结果表明,改进后PU_learning算法的准确率、召回率分别有1%、3%的提升。(3)设计实现了基于行为相似性的网络用户识别系统。从原始流量捕获出发,设计实现了流量捕获、用户信息匹配、模型训练与预测模块,重点解决了用户信息匹配模块中的HTTP流还原问题和模型训练与预测模块中ETL特征提取和模型训练精度提升问题。在大数据背景下,引入了 Hadoop和Hive作为数据的处理平台与工具,保证了系统高效稳定的运行。(4)对系统各功能模块进行测试。结果表明,基于行为相似性的网络用户识别系统功能稳定,识别结果准确。用户信息匹配过程中流量解析速率达到1.6Mbit/s左右,ETL能在一小时内处理两个千万数据级别的网络平台特征数据提取。本文对基于行为相似性的网络用户识别系统设计与实现过程中存在的问题进行了总结分析,提出了改进思路与方法,对后续工作提出了展望。
其他文献
近些年来,深度强化学习在视觉、语音、自然语言处理、自动驾驶、无人机、控制机器人武器、游戏等各个领域都取得了显著成果,引起了学术界、工业界的广泛研究。然而,目前的深度强化学习等机器学习方法面临着理论障碍的巨大挑战,正如图灵奖得主Judea Pearl指出的那样:目前的机器学习系统几乎完全以统计模式或无模型模式运行,这造成严重的理论限制。为实现人类级别的智能,亟待解决的问题是需要以模型作指导。大量研究
38CrMoAl钢由于钢中[Al]含量极高(w([Al])为0.7%~1.1%),在连铸过程中容易导致水口的堵塞,同时在传统的高SiO2熔渣条件下,钢渣反应将导致钢水成分和熔渣性能发生较大的变化,恶
随着经济的快速发展和人民生活质量的不断提高,用电需求逐渐增大,对电能质量和供电可靠性的要求也越来越高。用传统不可再生能源发电,不仅面临能源枯竭的危机,同时也造成了严
就文化来看,这种区域性主要产生于行政划分,而不是文化学意义上的划分。如果将华夏文化视为一种独立的人类文化,那么上党文化则属于一种“次亚文化”。换言之,我们讨论上党文化时
报纸
本文的研究对象是建筑工程施工项目中的质量管理。本文对我国建筑工程施工项目质量管理的现状进行了阐述,并且对质量管理的未来发展趋势进行了预测。通过大量基础数据的调研,
随着畜牧业的快速发展,导致集中化养殖过程中产生的大量牛粪被随意堆积或丢弃,进而引起的环境污染已经成为当今社会的重要问题。目前传统的牛粪处理方法具有很多问题,将牛粪进行厌氧消化制备沼气是解决问题的良好方案。但是,低处理效率和低产气量一直是制约牛粪生物质能源化利用的核心问题。本文以易于获得且成本较低的生物强化手段,在小试批次厌氧消化系统的基础上优化了牛粪厌氧消化工艺。将特定温度下烧制的生物炭以一定比例
建筑业作为国家经济发展的重要支柱之一,与整个社会、人民生活息息相关。目前在我国激烈的市场竞争中,建筑工程项目的质量在工程建设中最为重要,是说明项目建设情况好坏的关
随着生物医学信号研究的发展,心音信号研究成为诊断心血管疾病的依据。先天性心脏病传统的诊断方法首先是医生通过听诊器初诊,然后使用超声心动图做心脏彩超确诊,这种诊断的方式在偏远地区由于医疗条件和基层医生能力有限,致使先心病患者不能及时得到诊断和治疗。近些年社会上很多慈善机构和省级医院在全国各地开展先天性心脏病的筛查项目,参加筛查的医生通常具有丰富的临床经验,他们会到乡村、城市、边远村寨的学校里通过心脏
冷却塔是火电厂的重要辅助生产设备,随着大容量、高参数发电机组的出现,水资源匮乏及环保意识的增强,冷却塔所占比例有所提高,并朝大型化方向发展。文章从设计角度对冷却塔工作原