随着多核技术的普遍应用,采用多核计算机为节点设计分布式系统已成为一种趋势。这种新兴架构要求结合多核处理器的优势,充分发挥分布式系统的特点,以达到多层并行的高性能计算的目的。在介绍了分布式系统、多核处理器的基本概念和分析了高性能计算、基于多核节点构建分布式系统的研究现状后,建立了基于多核的分布式系统多层模型,具体描述了存储器子模型和通信子模型;结合编程实践的体会,提出了贴近于多核节点分布式系统结构且综合了消息传递和共享内存两种编程模型的优势的MPI+OpenMP混合编程平台,并在此基础上讨论了混合平台的实现机制、线程数控制、优化措施等具体问题;以中介真值程度度量方法为工具,提出了适合于多核节点分布式系统的复制算法;提出一种新的可扩展模型,此模型能更加直观地反映并行系统在机器规模和问题模型扩展时,其性能的扩展特性。为了验证设计的多核节点分布式系统的正确性和有效性,采用一个矩阵乘法的实例进行测试。比较实例在串行、传统并行和多层并行情况下分布式系统的性能,证实基于多核节点的分布式系统具有良好计算性能、可扩展性和容错性。本文还通过矩阵乘法的计算实例,详细描述了多层并行程序设计过程,并进行了实验。与传统并行计算比较,实验结果表明:基于多核节点的分布式系统具有更好的计算性能。