主题爬虫是利用程序自动地从互联网中抓取与给定主题相关的网页资源。大多数主题爬虫是通过网页内容、链接结构预测未访问URLs的主题相似度,将这些数值作为对应URLs的访问优先级。然而,上述主题爬虫在表示网页时未考虑某些词项存在一词多义的现象,导致不能准确地获取网页的表示词项及其主题相似度,这将误导主题爬虫抓取网页的方向,从而降低了主题爬虫的爬行效果。此外,这些主题爬虫未对相同链接距离的不同网页进行网页聚类,导致不能准确地获取抓取网页到目标网页的状态概率,这也将误导主题爬虫的抓取网页方向,从而也降低了主题爬虫的爬行效果。为解决上述问题,本文提出基于语义消歧图谱与隐马尔可夫模型的主题爬虫,重点研究工作如下:(1)本文构建语义消歧图谱(SDG)。SDG用于去除在抓取网页的表示词项中与给定主题无关的歧义词项以实现更准确地确定抓取网页的表示词项。语义消歧图谱构建是利用训练网页集提取主题词项,将这些词项作为该图谱的结点,结点间的关系强度通过对应两词项在互联网中共现相关网页数进行衡量,通过模糊推理模型从该图谱中所有结点对应的主题词项中识别歧义词项,通过结点间关系强度进一步提取每个歧义词项对应的消歧词项集合。语义消歧图谱目标是去除与给定主题无关的歧义词项,即在表示抓取网页词项集合中去除在抓取网页的表示词项中与给定主题无关的歧义词项,进一步优化该抓取网页的表示词项集合。(2)本文建立隐马尔可夫模型(HMM)。HMM用于估算抓取网页链接到目标网页的状态概率以实现预测该抓取网页内未访问URLs的优先级。隐马尔可夫模型建立是将每个网页到目标网页的链接距离作为该模型的隐藏状态,而将每个网页根据文本内容的聚类类簇作为该模型的观察类簇,该模型参数包含初始状态概率分布、状态转移概率矩阵、观察输出概率矩阵,并利用训练网页集中处在不同隐藏状态、不同观察类簇的网页数量来估计该模型的三大参数。隐马尔科夫模型的目标是依据观察类簇序列及模型参数估算抓取网页链接到目标网页的状态概率,进而推理预测该抓取网页内未访问URLs的优先级。