近年来各种应用产生的数据呈爆炸性增长,其中很大一部分是实时产生的数据,具有无限性、无序性、突发性、易失性等特点,并且通常数据的价值随时间而减少。如何为这些需要实时分析处理的数据提供稳定、正确、高效、实时的分布式运行环境成为一个值得仔细研究的问题。流式处理系统旨在解决这一问题,但现有的流式处理系统还有许多可以改进的地方。本文在吸收这些系统的设计经验的基础上结合对流式系统的理解设计实现了高扩展、高容错的流式处理系统DStream,主要工作如下：总体架构采用主从方式和无状态设计,主节点和工作节点主要通过分布式协调服务进行通信,避免功能模块相互耦合,提供设计良好的任务模型方便应用开发。这些设计为系统的扩展性和容错性设计打下了坚实的基础。扩展性方面提供从集群节点、处理逻辑、任务配置到任务运行一整套环节的扩展性支持：支持工作节点动态增删以调整集群资源；支持处理逻辑、任务配置更新并实时检测在线更新,为应用迭代开发提供了良好支持；灵活应对流速变化的数据,既保证系统不因数据过多而崩溃又提供措施使系统资源动态分配以满足处理需求。容错性方面系统支持物理节点、执行单元以及任务执行等各环节的容错：每个功能模块都有措施应对其节点出错；执行单元出错后系统检测到并进行重新调度；任务执行时系统提供数据至多处理一次、至少处理一次以及恰好处理一次的容错性支持,极大的提高了系统的适用范围,为用户提供效率和容错性级别之间的选择。文章最后通过基于DStream流式处理系统实现的应用场景以及相关实验,来展示系统使用及验证上述设计。