数据流相似性查询及模式挖掘研究

被引量 : 5次 | 上传用户:H07081820607
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据挖掘研究领域的不断拓宽和研究内容的不断深入,人们发现应用中越来越多的数据是以流的形式产生的,例如网络流,网页点击流,交通流以及传感器网络数据等等。分析和挖掘这类数据日益成为一个热点问题。其中,分析流数据间的相似性和模式发现成为重要的研究内容。研究数据流的相似性查询对于完善数据流查询、改进数据流系统等都有着重要的应用价值,并且对于在数据流上进行分类、聚类等也有着指导意义。当前在数据流环境下相似性查询和模式发现的研究工作没有充分考虑数据流数据自身的特点,往往假定内存空间无限或者不满足增量更新。另一方面,据我们所知,目前还没有相关工作系统地解决相似性查询的问题。基于此,本文着重研究数据流环境下相似性查询及模式发现问题,主要包括如下三个关键方面:(1)基于Lp距离,提出系统解决数据流环境下相似性查询的技术。在数据流环境下,基于Lp距离函数,本文系统的提出了一个解决相似性查询的框架,用以解决数据流环境下相似性查询。在充分分析数据流数据的特点后,提出一种新颖的数据结构SDS-Tree(the Same-DirectedSlope Tree)来分层表示数据流对象,实现对原始数据流的表示。基于Lp距离,本文证明SDS-Tree的有效性,并且进一步给出一个相似性判别中更为有效的粒度。基于有效的SDS-Tree结构,文章分别给出有效处理单一固定窗口下的相似性查询算法ASQFSW(Algorithm for SimilarityQueries in Fixed Sliding Window)以及滑动窗口下的增量相似性查询算法IASQSW(Incremental Algorithm for Similarity Queries in SlidingWindows)。特别,IASQSW算法找到了窗口滑动时数据流数据变化的一个上界,根据该上界,算法只需更新有限的SDS-Tree结点,就能够完成窗口滑动时的相似性查询。详细的理论分析以及大量的实验评估表明,我们给出的技术和方法显著优于目前的研究方法。(2)针对Lp距离无法解决时间弯曲的现象,为提高在数据流环境下相似性查询的准确度,提出了基于DTW距离的相似性查询的技术。在数据流环境下,使用Lp距离无法解决时间弯曲现象。为提高在一些应用场合中相似性匹配的准确度,基于DTW距离,提出了一个解决相似性查询的算法ESDS(Estimating Similarity on Data Streams)。算法根据数据流数据的变化特性提出了数据分段的思想,每段数据仅用三个数值(最大值,最小值和差异值)来表示原始数据流的特性。为保证数据特征提取的有效性,根据数据变化的规律,提出了振荡数据的概念,并给出了判断数据流中是否存在振荡数据的算法judgeSurge。为保证对振荡数据的处理不会影响到数据流的特性,进一步提出了有效振荡和最大有效振荡幅度的概念,设计了求解有效振荡数据的算法judgeValidSurge和求解最大有效振荡幅度的算法calMaxScope。算法基于特征数据,设计了新的DTW距离函数,基于动态规划算法,设计了在数据流环境下进行相似性判别的算法ESDS。详细的理论分析以及大量的实验评估表明,文章给出的技术和方法具有很高的准确度和效率。(3)针对Web流数据,设计了两个Web流模式挖掘算法。数据流间的相似性查询在Web数据流中有重要的应用价值。文章首先分析了Web流数据的特征,然后着重研究了Web流数据的模式发现问题。在充分分析经典算法WAP-mine的缺陷后,首先针对WAP树结构设计了一个自顶向下挖掘的算法TD-WAP-mine。算法避免了在挖掘频繁模式过程中每次需要构造大量中间数据,而直接对原始的WAP树进行挖掘,节省了生成中间数据的代价,在支持度比较小或者原始Web流数据过于大的情况下,TD-WAP-mine表现出更好的性能。其次,针对WAP树存在数据冗余情况,提出了压缩WAP树的概念,在不影响挖掘结构的前提下,设计了压缩WAP树算法,并且直接对WAP树投影,设计了一个自顶向下的挖掘算法TAM-WAP,在大规模实验集上的实验表明,TAM-WAP算法表现出更好的性能和伸缩性。
其他文献
对影响聚乙烯丙纶防水卷材生产线产量的几个主要因素进行了讨论,包括原料配方、螺杆直径、冷却速率、操作人员技能等;指出上述各方面因素互相配合、互相协调,才能保障聚乙烯
2005年《公司法》对公司瑕疵决议的诉讼机制做了明确的规定,这就为瑕疵决议的认识及其法律后果的判定提供了确定的准则。但是,现行《公司法》只构建了公司瑕疵决议诉讼救济机
我国当前出现了一股进行证券投资基金投资的热潮,这股热潮主要是投资于股票型和混合型开放式基金。本文采取了2003年12月31日以前成立的41只股票型和混合型开放式基金从2003
兽用生物制品生产企业实施兽药GMP管理是提高竞争力和产品质量的有效途径。但是,由于企业管理水平的良莠不齐,导致企业兽药GMP质量管理体系运行中出现了很多问题。因此,兽用
<正>近日,延庆区总工会为300余名在职职工免费体质测试。今年体质测试为体能十一项常规项目,通过本次体质测试,使职工深入了解自身体质健康状况,进一步提升了大家注重健康、
党的十六届三中全会在全面分析国内国际形势的基础上,明确提出了“坚持以人为本,树立全面、协调、可持续发展观,促进经济社会和人的全面发展的全新的发展观”,即科学发展观。
曲面根据能否用标准数学模型表示分为规则曲面和自由曲面,根据曲面特征又分为已知CAD模型的曲面与未知CAD模型的曲面。曲面的测量是曲面的精度检验和反求的基础,三坐标测量机
图像分割应用在许多方面,小到检查癌细胞、精密零件表面缺陷检测,大到处理卫星拍摄的地形地貌照片等。在所有这些应用领域中,最终结果很大程度上依赖于图像分割的结果。但是,
就业是民生之本。改革开放以来,我国的高等教育事业有了较快的发展,特别是自1999年扩招以来,大学生数量持续大幅度增长,高等教育已进入了大众化阶段。我国的高职教育的也在这
蛋清粉是蛋清液经过处理后脱水干燥制成的蛋白质粉,含有与新鲜鸡蛋清中种类相同的蛋白质,蛋白质含量高,固体粉末含水量较低,便于运输和储藏,因此在食品行业中应用广泛,既可以