论文部分内容阅读
人类社会已进入信息大爆炸时代,数据规模不断快速增长.随着数据量的飙升,数据处理系统对数据进行快速处理的难度日渐加大,小规模计算集群的处理能力已经无法支撑大数据处理的业务需要.本文分析和研究了并行计算实现结构和MPI并发编程框架,提出了对等式和主从式两种分布式集群大规模并发处理架构设计方案,并对两种设计架构进行了分析比较.两种架构设计方案可根据业务需要应用于大数据清洗、检索和统计分析等并发数据处理操作.