互联网与通信技术的迅猛发展,不仅促进了微博、微信等短文本信息在全世界范围内的有效传播,甚至对人民的日常生活方式带来了深远的影响。海量信息导致人们反而难以找到有效的信息。这样极端性的发展,要求我们找到一种方法从海量互联网短文本数据中挖掘主题信息,这就是本文研究的短文本主题分析技术。本文的工作主要集中在针对短文本的热点话题发现相关算法的研究中,主要工作如下：首先,提出了基于改进的BM25算法的话题发现算法,解决了话题的可读性差的问题,算法包括基于BM25算法的词相似度研究、突发词发现、基于关键词的聚类。其次,提出了LDA-BM25算法,在提升话题可读性的同时,保证了话题很好的独立性,该方法融合了LDA模型与话题词BM25算法,进一步提升了话题发现效果。最后,提出了分布式处理系统设计方案,解决了互联网中海量短文本数据流处理效率低下的问题,包括海量短文本的分布式预处理、分布式存储、高效话题发现技术,其中话题发现模块成功解决了时间乱序问题。