在计算数学与计算机科学领域中,Ax=b形式的线性方程组求解是问题的关键。为解决这一问题,在单处理器系统下对于各种不同种类的线性方程组很多可靠高质量和高效数值方法已经研究出来了。随着超大规模集成电路和和网络技术的最新进展,已经激起了人们对通过多处理机系统来解决许多实际问题兴趣。许多计算密集型的应用(比如:有限元分析计算)最终都会化简成为求解大规模线性方程组的问题。因此,在广泛的应用中,许多求解大规模线性方程组的并行算法扮演着非常重要的作用。在这些并行算法被正式投入使用之前,首先必须解决其中与实现相关的问题。本文主要针对求解线性方程组典型的并行算法的研究及其在IBM x3500上的实现(比如:Gauss消元法,Jordan消元法,LU分解,Cramer法则,Jacobi迭代法,SOR超松弛迭代法等)。对于线性方程组有许多分类方法,一种分类方法是简单的将其划分成稠密线性方程组和稀疏线程方程组,稠密线性方程组一般采取直接法求解,而稀疏线性方程组一般采取迭代法求解,特别是大规模稀疏线程方程组的求解在实际应用中尤其重要。本文主要做以下几方面的工作:(1)并行计算体系结构和基于消息传递的MPI编程介绍,以及MPI编程基础。(2)研究线性方程组的直接解法。对Gauss和Jordan消元法的并行算法进行了综述,并且分析这两个算法各自的计算时间代价和通信时间代价。最终这两个算法在基于MPI编程环境的多处理机上进行了实验及对比分析。(3)研究线性方程组的迭代解法。对Jacobi迭代,Seidel迭代和SOR超松弛迭代同样进行了综述。并且在多处理机上实现了Jacobi迭代和Seidel并行算法。(4)为了体现了大规模稀疏线性方程组求解的应用价值,研究了基于离散法求解二维Poisson方程,给出了其求解过程的MPI实现,并且从多个方面对该MPI程序进行了讨论与改进。