带有通配符的序列模式挖掘研究

被引量 : 1次 | 上传用户:gavin812428144
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实际应用领域中产生了大量的序列数据,例如:超市顾客购买数据、信用卡交易记录、电信数据、DNA和蛋白质序列、文本数据等,这些序列数据中隐含着丰富的有价值的知识亟待挖掘。序列模式挖掘,旨在从序列数据库中挖掘频繁出现的序列模式,已成为数据挖掘领域中一项非常重要的研究任务。然而,模式的出现并不都是连续的,模式中每两个连续字符之间可能含有灵活的通配符。例如,在生物序列中,模式的相邻字符之间可能插入或删除较短的序列片段。因此,带有通配符的序列模式挖掘研究不仅具有理论上的研究价值,而且在文本挖掘、生物信息学、传感器网络等领域都有着巨大的应用价值。本文围绕带有通配符的序列模式挖掘及其在文本领域中的应用开展研究,研究内容涉及三个方面:(1)定义同时具有间隔约束和one-off条件的带有通配符的序列模式挖掘问题;(2)带有通配符的序列模式挖掘算法设计与分析;(3)将提出的带有通配符的序列模式挖掘算法应用在文本领域,利用挖掘的文本模式分析词语之间的语义关系,抽取出关键词。主要研究内容和创新之处如下:(1)带有通配符的序列模式挖掘问题定义。给定序列S,用户定义的间隔约束g,以及最小支持度阈值min_sup,从序列S中挖掘同时满足间隔约束和最小支持度的频繁序列模式,并且要求模式在序列中的出现满足one-off条件,即模式的任意两次出现都不共享序列S中同一位置的字符。针对这一问题,提出一种基于宽度优先搜索的带有通配符的序列模式挖掘算法One-off Mining,基于一遍扫描技术计算模式在序列中同时满足间隔约束和one-off条件的支持度,利用Apriori性质,由长度为k-1的频繁模式进行连接,生成长度为k的候选模式。实验结果表明,One-off Mining算法在挖掘更多的频繁序列模式情况下,时间效率得到了显著地提高。(2)提出一种基于模式扩展的带有通配符的序列模式挖掘算法MAIL,利用前缀模式的出现信息,构造扩展模式的候选出现空间,有效地降低了模式挖掘过程中产生的候选模式的规模,同时避免了每次计算模式支持度时都需要重复扫描序列。设计了两种对候选模式出现进行有效约简的剪枝策略:最左优先剪枝和最右优先剪枝,讨论了两种剪枝策略对带有通配符的序列模式挖掘算法性能的影响。实验结果表明,MAIL算法能进一步提高解的完备性和算法的时间效率。(3)在MAIL算法基础上,提出一种层次有向无环图数据结构,能在多项式时间和空间复杂度内,构造和存储指数量级的模式的候选出现,利用深度优先搜索策略对层次有向无环图进行遍历,计算模式的支持度。从理论上证明,基于层次有向无环图的带有通配符的序列模式挖掘算法,在模式扩展过程中不会丢失解,在对图进行深度遍历计算模式支持度时,能够获取模式的优化解。从实验角度验证基于层次有向无环图的序列模式挖掘算法计算出的解接近最优解的精度达到90%以上。(4)基于文本模式的关键词抽取研究,将带有通配符的序列模式挖掘算法应用在文本挖掘领域的关键词抽取任务中。针对文本序列数据库具有的长序列、大字符集等特性,将基于层次有向无环图的MAIL算法进行了改进,以提高文本序列模式挖掘的效率。从文本序列中挖掘带有通配符的词语序列模式,分析词语之间的语义关联性。利用机器学习分类算法对获取的词语模式特征进行学习,构造关键词抽取模型,讨论了不同的模式特征对关键词抽取算法性能的影响。实验结果表明,词语的模式特征能够提高抽取关键词的质量,并且不受具体语言和知识库的限制。提出一种基于词汇链的新闻网页关键词抽取方法,利用知识词典HowNet获取词语语义知识,借助词汇链模型计算词语在文档中的重要度,提高新闻网页关键词抽取的凝聚性。
其他文献
2003年,以明晰林地使用权和林木所有权为主要内容的新一轮集体林权制度改革,为我国森林保险的发展提供了重大机遇。为贯彻落实党中央、国务院的战略部署,缓解森林保险供需矛
城市公共交通体系是城市社会经济系统的一个重要的子系统,它的发展水平是衡量国家现代化程度的重要标志,同时也体现着城市经济的发展水平和城市居民生活的水平。对于城市公共
松萝是子囊地衣纲茶渍目松萝科松萝属植物,富含松萝酸和松萝多糖等活性物质,具有显著的生物学功效。本文以采自西藏色季拉山和黑龙江伊春市带岭凉水林场的长松萝(Usnea longi
股利政策是公司金融三大研究内容之一,也是国内外学者研究的热点。在股权分置改革之前,我国股票市场上表现为流通股和非流通股并存的现象,股权集中度相对较高。这种特有的股
双关语作为一种常见的修辞手段巧妙地利用同音异义或同形异义等现象使一个词语或句子具有两种或两种以上不同的含义,备受广告制造者的青睐,也使作者对深入探讨这一语言现象产
1.研究背景:在认知建构主义范式下,学习者被认为是在一定的社会情境中,在先前知识的基础上建构新的知识,深层的理解和思维过程遵循一定的原则,并且可迁移至新的情境(Shepard 2
为了解决传统湿式催化氧化(简称CWAO)工艺中存在反应条件苛刻、处理成本高和对设备要求严格等问题,本文通过对催化剂的改性研究,实现了可在常温常压条件下通过CWAO工艺有效处
微积分是理工科大学生的必修课,因为大学本科乃至研究生阶段的很多后继课程都是以它为基础的。经典微积分的思想与内容已经发展的很完美了,但学生的学习不应该止于经典。教师
发光二极管(Light Emitting Diode, LED)是一种能够将电能转化为可见光的固态的半导体器件。使用LED这种新型的光源的灯具或照明设施,具有寿命长,节约电能的优点。LED灯具由L