论文部分内容阅读
随着互联网信息资源的指数增长,如何实现海量文本数据的自动分析已成为日益紧迫的研究课题。近年来,作为文本自动分析的重要手段,文本聚类及热点信息发现逐渐受到研究者的重视。对互联网信息的聚类处理使人们可以从总体上了解信息主题的分布,并根据特定兴趣选择不同主题的文本进行浏览;对互联网热点信息的自动发现使用户更容易了解不同类别中最受关注的焦点。本文关注于文本聚类算法和热点信息发现算法的改进和高效实现,以期在海量数据和工程化环境中有效推动文本自动分析技术的实用化。首先,针对K-Means算法的聚类结果严重依赖于初始中心点的特性,本文在K-Means算法中引入了具有优化近似因子的delta近似K-Center算法,构造了改进的聚类算法KWOC(K-Means With Optimized Centers),用以实现更有效的初始中心点选择。实验表明KWOC可显著提高最终聚类结果的鲁棒性。在KWOC的具体实现中,本文创新性地设计了针对性较强的事务性文件系统,实现了K-Center中间计算结果的高效缓存,在文件层面实现K-Center与K-Means的计算结果共享。该方案显著降低KWOC算法的时间开销。其次,为了有效挖掘海量Web数据中的热点信息,设计了一种新颖的Web热点信息发现算法。该算法以分阶段的串频变化量统计矩阵为基础,结合串频变化的历史波动,得出有效的热点信息串的评价指标,并根据由该指标选中的热点信息串最终完成热点文章的甄选工作。该算法的具体实现同样利用了有针对性的事务性文件系统,因而具有较高的时间效率。最后,论文给出了针对上述聚类及热点信息发现算法的事务性文件系统的设计方案及实现方法,该事务性文件系统基于一致性哈希理论,以高速的散列文件为基础高效地实现了算法运行中计算结果共享,有效地把计算依赖转化为事务依赖,在事务重建理论框架下为算法的可靠性提供了有力保障。实验表明,本文提出聚类算法、热点算法及其系统方案实现具有良好的性能和效率,可以适应于实际工程环境下的海量数据应用。