基于数据挖掘技术的在线讨论主题漂移自动侦测方法

来源 :南京大学 | 被引量 : 0次 | 上传用户:zj280078064
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络普及使得基于电子媒介的交流迅速发展,在线讨论便是其中的一种,在线讨论是一种“串线讨论”,它在形式上是基于一条源发消息而展开的,所有参与者随时都可以发送回复消息来响应源发消息和其他回复消息,这就可能导致讨论线索交叉并存的现象出现,因此与面对面讨论相比,在线讨论更容易产生讨论主题的漂移。主题漂移使得讨论的话题发生了转移,产生了新的讨论主题,或是陷入无意义的争论和相互的攻击中,讨论违背了讨论的初衷,影响了讨论的质量。若能用一种方法自动侦测出一条串线讨论是否发生了主题漂移,在哪发生了什么形式的主题漂移,给在线讨论的参与者和管理者以警示,必将有重要的价值。目前对主题漂移的研究多集中在教育领域,且集中在采取措施避免主题漂移发生方面,在主题漂移侦测方面鲜有研究。   为实现在线讨论主题漂移的自动侦测,本文依据数据挖掘中分类的思想漂移的识别问题看作一个分类问题,即通过把待侦测的讨论分为发生了主题漂移和没有发生主题漂移两类来实现侦测。文本选用一组经过了人工判断标记发生了主题漂移与否的讨论串线作为训练样本,对这些样本进行一定的处理后,通过有指导的学习建立了一个分类模型,然后依据该分类模型对待侦测的讨论进行分类,由此判断是否发生了主题漂移。   本文提出了一套主题漂移自动侦测的方法,该方法是基于文本聚类以及决策树分类的,具体做了如下工作:   (1)将文本聚类方法应用到主题漂移的自动侦测研究中,并对聚类算法AGNES做了改进,使用一种迭代过程来确定最佳聚类数,从而克服了算法需要设置聚类数参数且聚类效果对聚类数敏感的缺点。   (2)针对在线讨论中消息文本的特点,提出了一套文本处理的方法,主要包括:消息文本预处理的一系列方法;考虑词汇出现位置、词性等因素的文本表示特征项的选择;基于词汇共现得到词间关系进行特征项的扩展;对传统特征项加权算法的改进。   (3)以聚类质量评价领域的相关研究为基础,建立了一个用于主题漂移侦测的指标体系,并证明了其中一些核心指标的有效性。   (4)将数据挖掘中的决策树方法应用于主题漂移自动侦测中,利用训练集生成了高效的决策树。   本文通过实验证明了以上工作在在线讨论主题漂移自动侦测中的有效性,为更深入的研究提供了基础,同时其中的一些方法也可运用于在线讨论的其它研究领域。  
其他文献
中图分类号:G807 文献标识:A 文章编号:1009-9328(2017)01-021-01  摘 要 本文从社会体育专业教学实践基地建设必要性,教学实践基地现状及所存在的问题和有效建设途径的建议三个方面分析和讨论如何更好地建设社会体育专业校外实践教学基地。  关键词 社会体育专业 校外实践教学 基地建设  随着经济的不断发展,我国的综合国力不断增强,人们的生活水平不断提高,人们的健康意识日益增
中图分类号:G807 文献标识:A 文章编号:1009-9328(2017)01-021-01  摘 要 当前在我国教育制度的不断发展和逐步完善的情况下,体育教学越来越受到广大人民群众的关注。中小学体育教学是当前教学体制中非常要紧也是极其关键的组成部分之一,它同时又和和其他文化课程本质上有着一定区别。  关键词 体育教育 思想教育 作用  一、体育教学过程中德育教育的必要性与可能性  在平时的上课
博茨瓦纳,是位于非洲南部的内陆国.博茨瓦纳是非洲经济发展最好、社会最为稳定的国家之一,政府每年投入大量资金用于教育、医疗、卫生等基础建设.本文主要通过问卷调查法、访
随着现代科技技术的广泛应用,多媒体课件在教学活动中的应用越来越多,效果甚佳.初中体育教学虽然大部分时间都是脱离课堂在户外进行,但是多媒体课件由于具有直观性、趣味性、
现阶段,随着我国新课程改革进程的有效推进,素质教育对高中体育课程教学提出了更高的标准.高中篮球选项教学的设计策略探讨,逐渐成为高中体育教学中重要的问题.高中体育教师
1 八卦结构学rn上部分讨论过,阴、阳爻与上、下夸克是同一体,单卦与核子是同一体.有了同一体的存在,就可进行理论互补的讨论了.要互补就需要知古知今.大多数人对现代科学了解
新课改背景下,高中体育教学以健康教育为指导,更注重学生学习的自主性.而足球作为高中体育教学的重要组成部分,如何让学生在学习足球技战术的同时,提高学生的学习兴趣,增进学
信息资源公共获取是指“信息能便捷地、免费或通过合理付费方式被一般公众无障碍地获取”。我国学术界对信息资源公共获取课题的研究才刚刚起步。以武汉大学陈传夫教授为首的
学位
中图分类号:G807 文献标识:A 文章编号:1009-9328(2017)01-021-01  摘 要 随着新课程教育理念的提出在教育教学中也在进行着不断的变革。在职业院校中进行体育教育不仅仅是让学生学习到相应的体育知识,更为重要的是让学生养成体育锻炼的意识,提升其全面发展。在职业院校体育教学中开展体育欣赏教育能够在一定程度上拓寬学生的视野,提升学生的学习兴趣,从而取得较好的教育教学效果。本文先
民族传统体育活动是我国优秀的民族文化遗产,将其融入小学体育课堂的教学起到了传承和教育的作用,如何更好地科学性地融入体育课堂,发挥其健身教育作用,通过调查研究的数据进