分布式并行计算机系统是一个子系统数量非常庞大、且相互关联、相互制约和相互作用的关系复杂的有层次结构的系统。系统具有开放性的特点，其开放性体现在两个方面，一是对内部的开放性，即各结点之间的开放性和交互作用，另一点是对外的开放性，即对系统管理员和用户的开放性。并行系统中信息资源的开发、合理配置和有效使用是性能的根本问题。 机群和NUMA系统是近几年发展比较快的体系结构。NUMA系统通常是通过高速专用网络连接起来的独立的高速处理器构成的大规模处理器系统。这样的系统可以提供很高的综合性能。NUMA系统的优点是易于管理和可用性比较好。机群是由完整的互连的计算机集合组成，作为一个统一的计算和处理资源来使用的系统。由于机群系统中的每一个结点是一个完整的、可独立使用的计算机，系统的可用性、性能价格比、可扩展性以及可再利用性等方面与其他的系统相比较有很大的优势。 本文在广泛了解已有的并行系统结构的基础之上，深入研究了分布式并行系统设计的关键问题，包括结点结构、通讯接口、单一系统映像等，并结合计算机技术的发展趋势，提出了以好用性为核心，以可扩展性、高可用性和系统的灵活动态可配置和重构为目标，能很好地结合了机群系统和传统NUMA系统的优点的机群-NUMA系统结构。在此基础上，本文就从系统的多层次结构上通过功能扩展实现这样的系统的方法进行了探讨，特别是对结点之间的硬件通讯机制、系统信息交互以及资源共享等基础方面的问题，通过部分系统功能的实现进行了细致的分析和研究。 具体地说，本文的工作主要包括以下几个方面： ● 分析了NUMA系统的结构，包括CC-NUMA和COMA的特点和相关的cache一致性实现的特点，并分析和比较了两种结构在性能上的特点，指出不同方式下对不同类型的不命中产生的延时是有差别的。同时详细讨论了软件实现NUMA结构的方法和这些方法对系统的影响，对影响性能的几个方面进行了分析和提出了可能采取的措施。并对NUMA和SC-NUMA系统的性能进行了定性的比较。 ● 提出了一种新的体系结构，即机群NUMA系统，这种新的系统很好地结合了机群和NUMA机器的特点，以好用性为核心，以可扩展性、高可用性和系统的灵活动态可配置和重构为目标，很好地结合了机群系统和传