数据流挖掘若干关键技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:lys520168
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机硬件、网络通信和分布计算技术的飞速发展,产生了一种新型的数据类型—数据流,它广泛存在于诸如互联网监控、金融分析、传感器网络、天气或环境监测等领域中。传统的数据处理技术适合处理静态、稳定的数据集,难以直接扩展至无限、快速、变化、持续的数据流场景中,因此,如何管理和分析这些数据流,特别是,通过数据流挖掘及时检测网络异常等问题,成为新一代计算理论和应用的研究难点。本文在总结和分析国内外现有研究工作的基础上,围绕数据流挖掘的四个关键技术:相似性搜索技术、频繁模式挖掘技术、数据流分类技术和数据流任意形状聚类技术展开深入研究,主要工作包括:1、在数据流相似性搜索方面,针对数据流上难以建立索引结构的特点,基于动态时间扭曲距离函数(DTW, Dynamic Time Warping),通过对其下限函数的研究,利用数学中的分段、填充元和行列约束度等概念,构造了一组适合不同场景的数据流相似性度量函数及其配套的上下界精化函数,进而提出了相应的数据流相似性搜索算法。理论分析和统计实验表明,本文构造的函数和搜索算法计算复杂度低,相似性程度高,在数据流相似性搜索中有很好的应用前景。2、在数据流频繁模式挖掘方面,针对数据流的时效性和流中心的偏移性特点,提出了界标窗口模型与时间衰减模型相结合的数据流频繁模式挖掘算法。该算法通过动态构建全局模式树,利用时间指数衰减函数对模式树中各模式的支持数进行统计,以此刻画界标窗口内模式的频繁程度;进而,为有效降低空间开销,设计了剪枝阈值函数,用于对预期难以成长为频繁的模式及时从全局树中剪除。论文对出现在算法中的重要参数和阈值进行了深入分析。一系列试验表明,与现有同类算法MSW相比,该算法挖掘精度高(平均超过90%),内存开销小,速度上可以满足高速数据流的处理要求,且可以适应不同事务数量、不同事务平均长度和不同最大潜在频繁模式平均长度的数据流频繁模式挖掘。3、在数据流分类方面,传统的后向传播算法难以满足数据流实时处理的要求。基于核主成份分析算法,通过对其增量化求解方法的研究,构造了旨在降低分类处理量的维数约减算法;进而结合BP神经网络提出了相应的数据流分类算法。理论分析和统计实验表明,本文构造的维数约减算法时空复杂度低、收敛性能稳定,分类算法能够满足数据流实时处理要求,且分类精度较高。4、在数据流任意形状聚类方面,针对数据流的时效性和概念漂移特性,提出了滑动窗口模型与时间衰减模型相结合的数据流任意形状聚类算法。该算法应用时间衰减模型以指数级速度衰减历史元组密度,使当前滑动窗口外元组的密度近似衰减至零;通过构建六元组聚类特征结构,在界标窗口内统计微簇的衰减密度,以此刻画其在滑动窗口内的疏密程度。并运用剪枝策略,对当前窗口中稀疏微簇和窗口外微簇及时进行剪枝,从而有效地降低了空间开销和维护代价。一系列试验表明,与现有同类算法DenStream相比,该算法聚类速度快,内存开销小,且可以适应不同长度、维数和自然簇个数的数据流任意形状聚类。
其他文献
采用化学气相沉积法以泡沫镍为模板制备三维多孔网状泡沫石墨烯(GF),利用水热法在其表面垂直生长氧化锌纳米线阵列(Zn O NWAs),得到三维形貌的Zn O NWAs/GF复合材料.采用扫描
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
肾内科学作为内科的重要组成部分,肾内科的教学为临床教学工作中不可缺少的部分.翻转课堂是一种新型的教学组织形式,这种创新有别于传统教学,是一场学习的革命.本文探讨了在
施用土壤调理剂PAM可减少盐碱化土壤蒸发量和抑制盐分表聚,为了研究不同PAM施用量对盐碱地改良效果的影响,以耐寒耐盐碱的糜子作为供试作物,研究不同浓度PAM对作物生长和产量
随着移动互联网的高速发展,各种基于移动互联网的应用层出不穷,其中基于O2O模式的高校校园电子商务也应运而上,并表现出井喷式发展的态势。然而校园O2O电子商务模式在快速发
终身教育是指一个人一生中所受到的教育的总和,包括横向教育和纵向教育两个部分。我国的终身教育有了一定的发展,但依然存在终身教育方面的法律法规不完善、保障机制缺失,受传统
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
任何艺术作品,都是主题与主体的高度统一。主题是思想,好比文章的中心思想,是作品的灵魂,没有思想的作品不称其为作品。如:电影《亮剑》,主题就是“亮剑”精神,反映与敌斗争
现已知道,与创伤相关的免疫应答变化极为复杂。本文着重讨论了创伤诱发的免疫缺陷的原因、特征及灰复免疫功能的治疗措施。 It is now known that the trauma-related chang