面向异质媒体的网络事件发现算法研究

来源 :北京工业大学 | 被引量 : 1次 | 上传用户:allpass001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联设备和各类传感器愈发普及,人们能够轻松地捕获周围发生的事物,并将其上传到网络上共享。我们所处的世界已经变成了一个感知世界。互联网上的信息在很大程度上可以反映社会上真实发生的事件。现有研究表明,通过互联网发现社会事件具有迅捷性和低成本性,所以面向网络资源进行事件发现已经成为了新媒体网络时代数据挖掘领域中的一个研究热点。然而,目前网络数据中存在异质媒体丰富、数据规模大、实时性高、标注信息易缺失和信息碎片化严重等特点,导致传统面向文本的网络事件发现方法正逐渐失效。如何降低数据规模,解决不同异质元数据之间的协同与融合,以及处理网络数据中普遍存在的数据缺失性和信息碎片化,已经成为web数据挖掘中最需要迫切解决的关键问题。针对上述问题,设计并实现了两种面向异质媒体的网络事件检测算法。1)针对网络数据中的数据量大,异质介质多,标注信息易缺失问题,设计并实现了一种基于时间片划分和多元数据融合的离线式异质媒体网络事件发现算法。该算法首先通过时间片划分和UT模型的建立使得算法能够以近似线性的时间复杂度来进行大规模数据的网络事件检测。然后,通过多元数据融合的方法有效地克服了异质介质多和标注信息易缺失对检测结果的影响。最终,与目前最新的网络事件发现算法的实验结果对比实验,表明了该算法的有效性。2)针对网络数据高实时性和不均衡性的问题,本文结合增量式Single Pass聚类算法,设计并实现了一种基于改进的Single Pass在线式网络事件发现算法。该模型首先通过设定时间窗口以提高系统的运行效率,并在一定程度上缓解了Single Pass算法中数据项容易向大类偏移的问题。然后针对数据集的不平衡性,设计了适用于异质数据的相似度计算方法,并将其应用到在线式网络事件发现的算法中。最后通过实验确定时间窗口的大小和算法阈值等参数。我们将本文提出的事件发现算法与原有的在线式异质媒体网络事件发现算法进行比较,实验结果表明该算法的有效性和实用性。
其他文献
研究问题解决方法,并将其引入语义Web服务组装,不仅有利于扩展问题解决方法的应用范围,也能够为语义Web服务组装提供一种新的思路。本文对问题解决方法进行分析和研究,并设计实现
随着Web服务的广泛应用和发展,为Web服务提供二进制数据传输能力、并提供安全保障能力是Web服务在商业应用中获得成功的关键因素。SOAP消息附件是当前Web服务传输二进制数据的
学位
网络入侵检测系统作为网络安全中一项重要的动态安全技术,用来检测网络系统中的恶意行为,进而发现系统的安全隐患并改善安全性,得到了越来越广泛的应用。但网络入侵检测系统本身
学位
随着近几年互联网与信息技术的快速发展,网络向用户提供的信息和应用越来越多,在人们享受着网络所带来方便的同时信息过载现象也变得日趋严重,如何从海量数据中获取满足人们
门户通过对信息的集成为用户提供了访问丰富信息资源的统一平台。随着门户的广泛使用,仅仅提供各种信息的访问入口已经不能满足使用需求,需要对门户中的信息进行有效的管理,以降
学位
访问控制是对信息系统资源进行保护的重要措施,本文对下一代的访问控制统一框架--使用控制(Usage Control,UCON)做了详细的介绍,同时提出UCON参数化应用思想并成功应用于实际系
随着互联网技术的成熟,以及浏览器客户端Web应用程序的普及,Web安全漏洞已经成为互联网最严重的安全隐患之一,其中跨站脚本(XSS)漏洞是近年来较为流行的一种漏洞。由于JavaSc
目前,随着语义网的发展,本体越来越多地在各个领域被应用,使得本体演化开始受到越来越多的研究者重视。为本体提供一种有效的演化方法,使它能够及时地得到更新以适应各种变化成为
无线传感器网络(Wireless Sensor Networks,WSNs)因其巨大的应用前景和商业价值而受到学术界和工业界的广泛关注。基于WSNs的各类系统在军事、环境、医疗以及其他商业领域具
随着社会信息化网络化的发展,信息安全变的越来越重要。传统的身份认证方式已经难以满足信息社会的需要,因此人们将目光投向了生物特征识别这个广阔的领域。掌纹识别作为一种可