基于特征转移概率的网络日志聚类分析算法

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:ch101732
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化建设,互联网行业的发展,各种信息设备在运行和通信中,会产生大量的网络日志数据。网络日志的内容是非结构化的格式,获取相关信息具有一定难度,并且这种数据正在迅速增长为庞大的体量,所以从中获得所需的信息并对相关信息进行处理,是一个非常具有挑战性的任务。数据挖掘的技术是非常传统的技术,实施往往耗费太多时间,并产生过多的数据,大数据环境下,传统的串行的网络日志聚类方法存在性能的局限性,不再适合处理网络日志这样的海量数据,目前比较常用的对于网络日志的并行处理方法在计算时间、并行效率、准确率等方面存在一定改进空间。因而,本文提出了一种基于特征转移概率改进的网络日志聚类处理技术,并在Apache Spark平台上实现了用于提取频繁的庞大的网络日志的模式。实验结果表明,所提出的方法能够在大数据环境下对完整的网络日志提取所需信息并实现高效的分析,相对于目前常见的聚类分析算法,本文提出的基于特征转移概率的处理方式将执行时间降低到了75.97%。
其他文献
一教育的三个属性教育有三个重要的属性,就是历史性、主体性和社会性。一般谈它的社会性较多,主体性也会注意,但对历史性的关注和思考少一些。基础性、先导性、全局性、战略性等教育的特性都是从教育的社会性角度来谈的。而教育的历史性是指它的阶段性、时代性以及时空延续发展的变化性与局限性。谈到教育的主体性,我们要认识到,教育是人类文明延续的手段,是人类从个体到种群认识改造自然界与社会的思想行为工具,
期刊
火烧云是一种常见的自然现象,萧红在《火烧云》中,以时间推移为线索,描写了傍晚时分火烧云从出现到消失的过程。她凭借细致的观察、合理的想象,从霞光、颜色和形态三个方面,用优美的文字表现出火烧云这一自然现象动态发展的过程,写出了它的奇特和美丽。
期刊
一、联系旧知,情境导入(师课前板书:24.火烧云)师:同学们,上节课我们走进了《火烧云》这篇课文,还记得课文是从哪几个方面把火烧云写清楚的吗?生:课文是从火烧云的颜色和形状来写的。师:说得真好!(师板贴:颜色、形状)师:如果让你用一个词来形容火烧云的颜色,你会说——生:五颜六色。生:五彩缤纷。生:五光十色。
期刊
针对盾尾间隙控制因素复杂多变的问题,通过盾尾内壁与管片外壁之间的位置关系建立了隧道曲线半径、盾构俯仰角、盾尾覆盖管片长度与盾尾间隙之间的几何关系。基于以上关系,得到了最小盾尾间隙的理论计算方法,并对隧道曲线半径、盾构俯仰角、盾尾覆盖管片长度等影响因素进行分析。结果表明:隧道曲线半径的取值区间为50~400 m时,盾尾间隙受到的影响显著;盾构俯仰角与最小盾尾间隙值之间的关系接近线性,随着俯仰角增大而
随着篮球运动的持续发展和球迷数量的增加,NBA体育新闻的需求也逐步增大,因此体育报道在新闻报道中的地位也变得越来越重要。由于西方文化语言的多样性和体育事业的迅猛发展,英语体育新闻的翻译对译者来说既具有重大的意义,又面临着巨大的挑战,因此越来越受到学术界的关注。如何将英语体育新闻的内容准确的传播给读者,并且把体育中所含的其他元素传递给读者,达到良好的传播效果需要我们仔细研究。本文在读者反应论的理论基
课后作业是对课堂学习的巩固和拓展,是学生进行自我检测和教师进行教学反馈的重要形式。“双减”政策背景下,为了有效地发挥课后作业的效用,提高课后作业设计的质量显得尤为重要。初中物理巩固类课后作业优化路径包括:精心设计,突出“一致性”;分层布置,增强针对性;评阅及时,提升有效性。初中物理拓展类课后作业优化路径包括:课后作业形式多元化,成果展示常态化。