随着科学和工程技术的进步,出现了各种各样的大型复杂结构,对这些结构的精确数值模拟一般需要借助于大规模数值计算,而传统的串行结构有限元分析程序计算时间长,需要的连续内存大,难以满足计算需求。另一方面国内高性能计算平台建设正处于高速发展时期,但缺乏与其相配套的应用软件,导致超算应用率不高。发展大规模并行结构有限元软件一方面有助于国内复杂结构装备的研发制造,另一方面也可以促进国内高性能计算行业的发展。本文基于工程和科学计算集成软件平台SiPESC,以多重多级子结构算法为核心,开展大规模并行结构有限元软件的研发工作。多重多级子结构算法是结合子结构周游技术发展出来的高精度一体化子结构方法,该方法具有计算精度高、数值稳定性好等特点,还可以利用结构内部的重复性缩减计算量。并行多重多级子结构算法利用子结构间独立计算的特点,通过将子结构分配到并行环境的不同计算节点或内核同时计算,达到求解大规模问题,缩减计算时间的目的。首先,本文针对整体结构自动划分子结构问题,利用开源库ParMETIS,并基于SiPESC进行相关程序研发和封装,实现了并行多重多级子结构划分程序用以解决不同子结构计算节点负载平衡。通过将结构有限元网格转化为图,采用多水平剖分算法对网格图进行剖分来生成子结构,最后通过大规模复杂算例测试,表明了该子结构自动剖分程序的通用性和高效性。利用子结构周游技术构建了多重多级子结构并行任务调度框架。该框架采用分层并行的策略,结合子结构划分程序使得子结构调用树和超算硬件拓扑体系相适应,同时基于SiPESC使用并行编程模型MPI进行子结构并行任务调度类的设计实现。该框架能够适用于不同分析类型、不同层次子结构的计算需求,并且有效实现了计算过程中的负载平衡。在多重多级子结构并行任务调度框架基础上,研发了大规模并行静力子结构程序。将整个子结构计算过程分为前处理、凝聚、回代三个阶段,结合并行任务调度框架,把每个计算阶段分为基本子结构、调用子结构、顶层子结构三个层次并行,从而实现了多重多级子结构整体并行计算求解。最后通过大规模复杂实际工程结构算例测试,验证了该并行程序计算的正确性、通用性、高效性,为进一步不同分析问题的多重多级子结构并行一体化构建提供解决方案。最后,本文进行了大规模静力拓扑优化程序的研发,将大规模规则有限元模型进行分块,分配到各个进程并行计算求解,调用千核实现了上亿自由度的大规模拓扑优化。