基于DBSCAN的复杂事件大数据分析方法研究与应用

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:zylalazy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的迅猛发展,使得全球数据量呈现爆炸式增长。网络流媒体,基于GPS的车联网系统等其他软件应用源源不断地产生大量数据,并形成实时数据流。其所产生的数据蕴藏着丰富的经济价值与社会价值,而由于大数据自身特征,如数据产生速度快,数据内部杂乱无章,只能被有限次处理等,以致不能依靠人为手工搜索来从中发现人们感兴趣并能够加以利用的有效信息。因此,能够有效地利用这些数据,挖掘出大数据中潜在的复杂事件关系,对企业和政府部门都有很大的益处。针对上述需求,本文提出了一种可以应用到不同数据源的复杂事件分析方法。从复杂事件模型入手,定义三种复杂事件关系模式,把不同数据源的大数据流处理转化为复杂事件关系的提取和分析上来,并对传统的DBSCAN聚类分析算法进行改进,以便适合不同结构类型的数据源,同时与FP-Growth关联分析算法相结合,提出一种新的复杂事件大数据综合分析方法,挖掘数据中的复杂事件关系,同时将该方法部署到Hadoop云平台上,提出并行化的DBSCAN算法与FP-Growth算法,实现对不同数据源大数据集的处理。选取离散型GPS数据集与网状结构自治系统(Autonomous System,AS)数据集进行实验分析,验证该方法在不同数据集中的准确度。最终设计并实现了一个复杂事件大数据处理工具,进一步验证上述工作的可行性与工具的稳定性。
其他文献
本文运用金融共生理论分析了目前我国金融生态环境,从强化金融共生单元、完善金融共生模式和金融共生环境等方面对构建和谐的金融生态环境提出政策建议。
随着世界能源危机的出现和环境污染的加重,人们开始越来越重视建筑物在使用过程中能源的大量消耗和给环境带来的巨大影响。建筑物因其资金投入大、使用寿命长、对生态环境影
越南语视听说课程作为越南语专业教学的核心课程之一,对培养学生应用越南语的综合能力至关重要。提高越南语视听说教学质量,是越南语专业教学的一项重要任务。通过越南语视听
智能移动机器人技术是机器人学中的一个重要分支,是一项有着广阔应用前景的高新技术,从工业制造领域到服务业,军事侦察、航空航天、医疗卫生等诸多领域,移动机器人技术都有很
我国目前已投入开发的低渗透油气藏储量占总动用储量的三分之一以上,这些油气田大多数处于低产低效状态,而未动用油气地质储量中低渗透储量所占的比例更大,酸压是该类油气藏
龙起源于华夏图腾,是中华民族的象征,也是古人集动物精华于一身的产物。我们的祖先将龙描述成鹿角、牛头、蟒身、鱼鳞、鹰爪的形象,赋予了“变化无日,上下无时”的神力,寄寓其抵御
报纸
目的:研究丹皮酚结肠靶向片剂在大鼠体内定位释药性能.方法:特制适合大鼠口服给药的3mm 结肠定位包衣小片,通过相似性因子f2评价包衣小片和包衣大片释放曲线的相似性,以小片代
卡鲁金顶燃式热风炉相对于内燃式和外燃式热风炉,具有蓄热面积大、结构对称强度高、热效率高、送风温度高、生成维护费用低和使用寿命长等优点。相对于其他顶燃式热风炉,它采
高职院校越南语专业的教学目标主要是培养学生的越南语综合应用能力,尤其是听说能力,使学生能在日后的工作和社会交往中能流利的应用口头和笔头交流。本文通过对高职院校学生