随着信息技术的快速发展,文本流数据广泛出现在各类应用中,例如电信网络中的短信数据、社交网络中的舆情数据。这类数据的主要特点是源源不断、产生速度快、时变性强。在很多应用中,人们需要将海量的文本流数据存储下来,进行各类统计分析,以及基于关键字的快速检索。在海量文本流数据集上,同时支持统计分析和快速关键字检索是一个挑战性问题。　　 目前已应用于国家某关键应用中的DBrokerSE系统采用了搜索引擎和并行数据库相结合的技术,在一定程度上解决了这个问题。然而,随着数据规模的持续增长,DBrokerSE系统在存储和计算资源利用率方面显露出局限性。针对这个问题,本文提出了在统一的索引存储层之上,支持海量文本流数据关键字检索和统计分析查询的若干关键技术,并针对查询特点,分析了不同数据分布对查询效率的影响,研发了一个支持快速全文检索和高效统计分析的流数据管理原型系统Simba。　　 本文的主要贡献如下:　　 (1)在存储方面,针对海量文本流的数据特点与访问特点,设计了基于Lucene索引的文本流数据存储系统,提出了基于数据分片和多副本的分布式数据划分方法,同时设计了VGRR数据分布策略,可保证数据在时间和空间两个维度均衡。　　 (2)在查询处理方面,基于BSP并行计算模型,设计并实现了并行查询处理引擎,可高效处理复杂的统计分析类查询。同时,该查询处理引擎可利用分布式的Lucene索引,实现文本流上的快速关键字检索。　　 (3)基于本文提出的相关技术,设计并实现了海量文本流数据管理原型系统Simba,该系统提供类SQL的标准访问接口,支持文本流数据的实时加载、海量存储、快速关键字检索及高效的复杂统计分析等功能。