带有属性值错位的时序数据中异常修复技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:wsptdy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当今技术的快速发展以及数据产生方式的多样化,人类所拥有的数据规模日趋庞大,海量数据带来了客观的数字价值,同时也在数据质量方面带来了更多的挑战。时间序列数据是伴随物联网的飞速发展产生的数据,工业界中的时间序列数据往往存在数据异常、数据乱序、属性值缺失、属性值错位等问题,其中属性值错位问题相关的研究比较少,但该问题在工业场景中十分常见,因此研究该问题具有重要的意义。本文从面向实际的数据流场景出发,首先提出了一种普适的方法,然后针对工业界中存在的属性值错位连续出现并且属性之间存在相关性的场景提出了更有针对性的方法。数据流环境下的研究重点是在数据无限且内存有限的情况下,及时检测和修复数据中的错位属性值,从而提高时间序列数据的质量。现有的异常检测和修复方法通常是把异常值修改为计算得出的值,但属性值错位通常是数值本身没有错误,只是位置错误,因此本文希望通过交换而非修改的方式进行修复,从而得到更真实的数据。本文首先设计了一种通用的属性值错位数据的异常检测和修复方法,该方法首先重新定义了元组间的距离计算方式,设计了一种基于距离的异常检测方法,通过被检测元组与历史元组集合之间的距离关系判断是否发生错位。基于检测结果设计了一种通过迭代交换进行修复的方法,对各个属性对距离的贡献程度进行评估和排序,优先对对总体距离贡献较大的属性进行交换。经实验发现,该方法可以在不修改原始数据数值的基础上修复85%以上的属性值错位。本文的第二部分设计了一种针对连续型属性值错位即子序列错位数据的异常检测和修复方法,该方法提出了属性间相关性系数的概念以及计算方法,并设计了一种基于相关性系数的子序列错位检测方法,通过检测属性之间的相关性系数是否发生变化判断是否发生子序列错位。随之提出了分段的概念,基于分段的思想结合检测结果对错位的子序列段进行交换修复,并根据重新计算的相关性系数进行修复结果评估。经实验发现,该方法在解决子序列错位问题上与第一部分的通用方法有接近的准确率,并且计算时间可以快2个数量级以上。
其他文献
新医改之前,医疗机构的收入来源有3种,其中药品加成收入是医疗机构的主要收入来源,然而伴随着取消药品加成政策的实施,医疗机构的收入锐减,同时医疗服务价格结构比例失衡现象愈发凸显,其中劳务成本占比低、大型设备检查费用占比高现象显著。在双重问题之下,2016年国家有关部门发布了一系列文件,拉开了此次医疗服务价格改革的序幕,本次医疗服务价格改革以2020年为时间节点,要求在理顺医疗服务比价关系的基础上,逐
甲状腺是通过分泌甲状腺激素来影响人体新陈代谢等功能的一个内分泌器官,甲状腺结节被认为是甲状腺异常的一种主要临床表征。恶性结节会使得甲状腺激素分泌异常进而对人身体健康产生消极影响,随着超声诊断技术的发展,越来越多的结节会被检出,但超声图像本身具有受噪声影响大、成像质量差等特点,再加上结节区域与正常组织区域又具有对比度低、边界模糊、形状大小变化不一等特点,这都加大了阅片医生的诊断难度,而一旦误诊或漏诊
光学字符识别(Optical Character Recognition,OCR)作为促进办公自动化的一项重要技术应用场景十分广泛,随着近年来支持OCR有监督学习的训练数据爆炸性增长,针对文本检测和识别的OCR技术研究逐渐成为深度学习领域一个前景十分广阔的热门研究方向。本文研究基于深度学习的OCR技术,研究重点是如何在保证OCR过程中文本检测和识别准确性的同时,尽可能地提升模型的推理速度,高效快速
时间依赖图在传统静态图上引入了时间维度,是一种图数据随时间变化的模型。时间依赖图模型能够以更加贴合实际的表达方式来刻画现实中存在的问题,因此有越来越多的研究工作在相关方面展开。本文从时间依赖图模型入手,着手于时间依赖图系统框架的设计与时间依赖图上算法的研究。基于Neo4j图数据库,本文设计并实现了一个能够持久化存储时间依赖图的系统框架TD-Frame。该框架使用Neo4j图数据库作为时间依赖图的存
航空发动机被誉为“工业皇冠上的明珠”,更被认为是飞机的心脏。叶片则是航空发动机核心部件,各级叶片为发动机提供80%以上的推力。叶片在复杂的力学环境下工作会导致叶形发生改变,而叶片叶形的变化会使通过发动机内部的气流相对于设计工况发生改变,从而影响到发动机的稳定性、噪音水平和推力性能等。掌握叶片在工作条件下的变形规律,不管是对于现有航空发动机的安全运行还是对于新型叶片的优化设计都有很大的意义。本课题针
跨媒体内容质量评估的目的是用计算机的方法去衡量人对于跨媒体内容的主观感知。目前的方法对于跨媒体质量的分析分为主观评估和客观评估。客观评估多是以分辨率和帧率评定视频质量,以强度和音调衡量声音,以行文规范判断文本质量。然而新的需求是从跨媒体的深层内容出发,思考其蕴含的价值观和内涵,并能参考大众的反响程度。建立一个跨媒体内容质量评估系统,有助于增强对跨媒体内容深层理解和分析的探索。本文提出了一个跨媒体内
传统的医学图像分割主要靠人工完成,这种方法不仅耗时且不可复现。自动化分割技术虽然可以提高处理效率但是大大降低了处理结果的准确性,特别是在组织边缘和细小分支结构区域。基于深度学习的交互式分割方法可以平衡二者的优缺点,兼顾分割的准确性和高效性,在心脏CTA(Computer Tomography angiography)数据组织分割问题中具有十分重要的意义。虚拟内窥技术可以解决传统医学内窥镜无法无创入
数据科学时代,常常需要利用数据集训练学习算法来完成相关任务。其中,训练使用的数据集往往需要我们前瞻性的进行收集,如果想要模型对不太常见的数据也具有良好的效果,数据集必须包含足够的与这些数据相似的例子。训练数据集对待预测数据的覆盖不足往往会导致预测的不准确,为了提前预见到这些不准确性,本文提出了一种评估多维类别型属性数据集对待预测数据的覆盖程度的方法。本文面向评估数据集对待预测数据覆盖程度这一课题,
事件抽取是指从自然语言文本中抽取其中包含的结构化事件信息的任务。事件抽取任务按照抽取目标是否限定为特定领域的事件,可以分为限定域事件抽取和开放域事件抽取。限定域事件抽取需要先指定抽取的领域,人工预定义该领域的事件模式,并基于此进行该领域事件抽取。开放域事件抽取是指在不限定事件类型及模式的情况下,从文本中检测不限定类型及模式的事件并对事件论元信息进行抽取。限定域事件抽取任务的方法往往存在领域间迁移困
随着软件项目需求的急速增长,在软件设计与实现的过程中难免会存在一些缺陷。当软件项目的使用者以及测试人员,发现程序运行过程中出现与预期结果不一样的情形时,会及时向缺陷追踪管理系统报告自己发现的缺陷。但对于大型开源软件项目而言,缺陷追踪管理系统每天都会收到大量的缺陷报告。如果依靠开发人员手动检查并寻找相关源代码所在位置,是一件极其耗费时间与精力的事,因此将缺陷报告中的缺陷自动定位到相关源代码就显得至关