【摘 要】
：
各种Web服务器和大数据框架每天都会生成大量日志,在服务管理中,会将原始日志转换为结构化格式,然后应用数据挖掘模型来分析服务状态,其中最为关键的步骤之一是日志解析.细粒度的解析和LCS可以提供更好的日志解析质量,而粗粒度的解析和简单的相似性度量可以达到更好的解析性能.对此,提出一个基于两层框架的在线日志解析方法(ML-Parser),可以获得更好的解析质量而又不会过多牺牲性能.实验结果表明,该方法可以有效地提升日志的解析质量,其性能可以满足大数据量下日志的解析.
【机 构】
：
复旦大学计算机科学与技术学院 上海 200433
论文部分内容阅读
各种Web服务器和大数据框架每天都会生成大量日志,在服务管理中,会将原始日志转换为结构化格式,然后应用数据挖掘模型来分析服务状态,其中最为关键的步骤之一是日志解析.细粒度的解析和LCS可以提供更好的日志解析质量,而粗粒度的解析和简单的相似性度量可以达到更好的解析性能.对此,提出一个基于两层框架的在线日志解析方法(ML-Parser),可以获得更好的解析质量而又不会过多牺牲性能.实验结果表明,该方法可以有效地提升日志的解析质量,其性能可以满足大数据量下日志的解析.
其他文献
为降低协同试验数据处理的复杂程度,设计和实现基于开源数据SQLite的协同试验数据处理软件.该软件总体功能包含单元平均值计算、单元离散度计算、曼德尔检验、柯克伦检验、格拉布斯检验、回归方程管理、报告管理以及检验数据管理等.详细分析软件核心功能模块以及SQLite数据库构建方法.经过应用验证,该软件提高了精密度数据处理效率,保障了数据处理的准确性.
以制备自支撑FAU沸石为目标,通过水热处理偏高岭土基地聚合物原位合成自支撑沸石块体.采用强度试验结合X射线衍射(XRD)、扫描电子显微分析(SEM)、Brunauer-Emmet-Teller(BET)吸附等一系列表征方法,研究水热碱度、温度和时间等水热条件对块体强度、FAU晶体形成和演变的影响.结果 表明:地聚合物试块在2M的NaOH溶液中90℃下水热处理24 h可以获得结晶度高、形貌规则以及抗压强度高的自支撑八面沸石块体,其抗压强度为11.7 MPa,比表面积达到80.36 m2/g,微孔面积达19.
语义数据流推理需要对实时高速的RDF数据进行高效推理.针对目前语义数据流处理中推理效率低、查询延迟高等难题,提出一种基于多级索引的前向实时推理机制.基于规则依赖建立推理规则触发顺序;针对开销最大的传递规则进行优化;构建基于传递规则的结果集子图索引;建立基于变量位置的三元组索引消除中间结果;通过查询条件依赖关系进行连接操作得到满足条件的集合.使用LUBM数据集对该方法进行验证,实验结果表明,基于多级索引的实时推理方法在查询时延和吞吐量上对比目前的实时推理引擎具有明显的优势.
面对业务系统的规模不断扩大,传统的RBAC(Role-Based Access Control)权限控制变得越来越复杂,不仅增加了企业运维难度,也越来越容易因为权限分配不合理而出现安全事故.为解决以上问题,在对RBAC层次模型研究的基础上,进一步将权限治理分为可靠性、复杂性、权限修正策略三部分,从不同维度进行权限管理.在RBAC的基础上,进一步将RBAC 1、RBAC2、RBAC3引入治理策略中.将RBAC分层与可靠性计算、复杂性计算、权限修正策略相结合,设计实现了基于RBAC的权限控制模型.实验表明,该
传统的语义数据流推理使用前向或后向链式推理产生确定性的答案,但是在复杂的传递规则推理中效率不高,无法满足实时数据流处理场景对答案的及时性要求.因此,提出一种基于联合嵌入模型的知识表示方法,并应用于语义数据流处理中.将规则与事实三元组联合嵌入并利用深度学习模型进行训练,在推理阶段,根据查询中涉及的规则建立推理模板,利用深度学习模型对推理模板产生的三元组进行预测和分类,将结果作为查询和推理答案输出.实验表明,对于复杂规则推理,基于知识表示学习的实时语义数据流推理能够在保障较好推理准确性和命中率的前提下有效地降
子序列匹配是时间序列挖掘的经典课题,旨在发现大型数据集中的相似数据序列.很多文献关注固定时间段的序列的查询.但对于多种不同时间段的查询的问题仍然未解决好.基于时间段的查询含义是有时间窗口限制的查询.为了满足多时间段上的查询,简单地为每个时间段的子序列构建索引既耗时又耗存储空间.从目前的文献来看,已有的索引无法满足具有不同窗口限制的大量查询.提出一种基于聚类的轻量级的可变窗口索引方法(CBI),通过压缩不同窗口的索引来减少索引时间和空间开销.实验结果表明,该索引不仅节省了时间和空间开销,同时在支持多种类型的
常规储层预测方法对地震属性之间的隐含关系挖掘不充分、地震属性种类繁多难以选择.针对以上问题,为提高储层岩性的分类预测精度,提出一种结合特征选择与神经网络的储层预测方法.以DenseNet与SENet为基础,使用正则惩罚项进行网络输入层稀疏化,得到每个输入节点权重,进一步使用ReLU激活函数构建特征选择层,实现地震属性的筛选.实验使用胜利油田的地震属性数据与钻井岩性数据,结果表明,该方法对储层岩性分类效果具有明显的提升,分类准确率超过70％,验证了神经网络模型与该特征选择方法的有效性.
随着地震台站数量大大增加,测量数据量也急剧增长.传统的串行化相对波速变化计算方法面向海量数据时存在计算速度慢、消耗时间长等问题,已不能满足日常业务的需求.针对此问题,提出一种面向海量数据的相对波速变化计算的并行化方法.通过对地震数据集的划分和算法调度,将数据集分布到基于Spark计算框架的分布式集群上进行并行运算.实验表明,该方法提高了相对波速变化计算的速度,显示出计算模型的稳定性和可扩展性.
随着局部放电数据增多,为了提高放电数据的参数提取和模式构造的效率,将放电数据参数分析与Storm相结合,设计并使用Storm平台下双阈值过滤参数提取算法.该算法在框架组件中分别对各个阶段进行编程实现,通过数据流连通,将其产生的任务提交至集群完成,有效提取基本参数并且绘制图谱.实验结果表明,该算法与Storm框架结合具有低延迟和高吞吐量,能够提高处理效率.
针对疲劳识别率有待提高和现行疲劳检测设备不便携带的问题,提出一种以便携式眼镜为载体结合处理头动与眼电信号的疲劳检测方法.利用便携式眼镜采集头动与眼电信号并通过蓝牙将数据传输到手机终端.采用融合卡尔曼滤波算法处理头动信号并提取点头频率特征,采用Perclos算法P80原理和分段平均功率比值法处理眼电信号得到眨眼频率和低高频功率比值特征.根据主成分分析法(PCA)进行特征融合,得到疲劳特征值,从而判定疲劳程度,并结合Pearson法分析与通过脑电信号检测疲劳程度结果的相关性.实验结果表明,该方法的疲劳检测识别