论文部分内容阅读
随着互联网的快速发展,网页信息内容出现了爆炸性的增长。这虽然使得人们从互联网上获取想要的信息变得可能,但是如何从海量信息中快速发现这部分有用内容却是亟待解决的问题。另一方面,社交网络的兴起有效地推动了人与人之间的交流,并在一定程度上改变了人们获取信息的方式。本课题旨在利用机器学习、数据挖掘等自然语言处理相关技术,以高校教师为研究对象,自动化的构建一个高校教师社会网络,不仅向广大互联网用户提供教师个人信息、研究信息等内容,实现一个更直接、高集成、全方位、多角度的信息展示平台,而且在此基础上打造一个大量科研人员参与的学术交流平台。本文重点研究了以下问题:首先,本文实现了一种基于块划分的教师个人信息抽取模型。教师个人信息是指姓名、学校、职称等,是教师信息的基本组成部分。本文对于互联网上的教师介绍页面,首先进行预处理,然后将其划分成不连续的信息块,利用条件随机域模型对块中的信息项进行标注。词级别特征对于基本信息和联系信息的抽取已经有了较好的结果。通过将特征从词级别扩充到块级别,能够有效解决教育相关信息项存在的长距离依赖的问题。其次,论文发表情况最能反映教师研究信息,本文设计了相应的框架获取教师论文信息。获取到的教师论文中存在教师姓名非完全匹配、重名等引入的错误,姓名非完全匹配利用规则方法可以去除,本文重点研究了论文作者重名消歧问题,提出了一种基于层次聚类的消歧策略。在聚类过程中使用论文的基本信息作为特征,并分别使用了基于先验知识和基于相似度阈值的两种聚类终止条件。最后,基于教师基本信息和研究信息,本文研究了高校教师社会网络的构建和社区发现。教师之间有多种关系,这里主要依据相同研究方向进行网络构建,并使用了两种方法。一是利用主题模型发现教师所有论文的主题分布特征,以此计算每两个教师之间的关系构建出社会网络,然后利用马尔科夫聚类模型进行社区发现。另一种方法是利用教师论文关键词集合建立教师之间的联系,针对该网络使用了两种复杂网络聚类算法进行社区发现,并从社区发现质量和时间效率上对这两种方法进行了分析。