结构优化和可靠性设计在现代化工程设计领域中具有无可替代的作用。结构优化一般来说分为尺寸优化、形状优化和拓扑优化,其中拓扑优化设计一直是结构优化设计的研究热点。拓扑优化设计能够使得工程设计人员在初始设计阶段,通过运算方法和计算机程序获得机械结构的最优拓扑形式,从而为结构设计提供了有力的指导。连续体拓扑优化设计是拓扑优化设计的一个重要分支,一般连续体拓扑优化设计都是基于确定性参数进行的。然而实际工程中,结构材料的性能参数、施加的载荷等都是随机变量,这就导致按照确定性参数进行优化设计的结果不能够适应工作的要求,结构的可靠性得不到保证。因此,考虑可靠性影响的拓扑优化设计十分必要,具有重要的理论意义和工程实用价值。本文以“长江学者和创新团队发展计划”,“高档数控机床与基础制造装备”科技重大专项课题,“国家自然科学基金项目”,“十一五”国家科技支撑计划等项目为依托,以连续体结构为研究对象,提出了一种新的拓扑优化设计方法；引入随机优化的概念,利用随机有限元对连续体进行了随机拓扑优化设计,说明了在拓扑优化设计过程中考虑可靠性的必要性；引入可靠性分析理论,进行了基本随机变量服从正态分布、任意分布以及结构在多失效模式下的可靠性拓扑优化设计的研究；并用Matlab软件对本文的所有工作进行了编程,确保了理论方法的工程实现；最后本文对在研究过程之中出现的问题进行了归纳与总结,并对未来的发展趋势进行了展望。本文具体研究内容如下：(1)提出了连续体结构拓扑优化设计的K邻近方法。将模式识别技术的K邻近方法引入到拓扑优化设计领域,以设计区域作为初始样本空间,以连续体结构的有限单元作为单个样本,对连续体结构进行有限元分析,以单元应力、应力灵敏度、位移灵敏度等作为特征向量描述单元样本,以特征向量的欧拉距离作为识别函数,给出了识别标准,对结构进行一次识别,对单元进行分类,删除应力贡献度低的单元；以保留的单元集合作为新的样本空间,对结构进行二次识别,重新分类,逐步的达到结构优化的目的。针对K邻近方法连续体结构拓扑优化设计过程中,计算参数对优化结果的影响进行了详细的讨论和分析。对拓扑优化设计中普遍存在的棋盘格式化、网格依赖性和优化结果后处理等问题进行了探讨并给出了解决方案；(2)提出了随机拓扑优化设计的概念。一般的连续体结构拓扑优化设计都是对确定性参数进行的。但是实际工程中,材料的参数、工作环境、施加载荷等许多参数都具有随机性。随机有限元理论是在确定有限元理论的基础上发展起来的,更符合实际工程的需要。因此,考虑随机参数的影响,采用随机有限元对连续体结构进行随机拓扑优化设计是必要的。由于随机参数的影响,导致随机拓扑优化设计的结果具有随机性,证明了考虑可靠性影响的拓扑优化设计的必要性。(3)对基本随机变量服从正态分布的连续体结构进行了可靠性拓扑优化设计。对可靠性理论进行了简单的介绍,分析了可靠性优化设计数学模型的建立和求解方法。建立了正态分布下的可靠性拓扑优化设计的数学模型,利用可靠性分析理论的矩方法以及结构分析的有限元理论求解了可靠度约束。利用K邻近方法进行了拓扑优化设计,获得了可靠性拓扑优化设计的计算结果。(4)对基本随机变量服从任意分布的连续体结构进行了可靠性拓扑优化设计。在随机变量服从任意分布,且无法进行标准正态当量化的情况下,已知基本随机变量的前四阶矩,建立了可靠性拓扑优化设计的数学模型,给出了可靠性约束求解的两种方法。利用可靠性分析理论的矩方法和有限元理论,得到了可靠度指标,利用四阶矩技术解决了可靠性约束。利用随机摄动法得到了假设正态分布下的可靠度指标和可靠度估计值,利用Edgeworth级数方法、Hermite多项式等进行了可靠性分析,将可靠度约束转化为常规约束。并给出了Edgeworth级数方法有可能出现的约束放松情况的修正公式。利用K邻近方法进行了拓扑优化设计,获得了可靠性拓扑优化设计结果。并对两种方法的可靠性拓扑优化设计结果进行了对比,验证了这两种计算方法的正确性。(5)针对连续体结构可能在多失效模式下工作的情况,进行了多失效模式下的可靠性拓扑优化设计。分别给出了假设各阶失效模式相互无关、基于最薄弱环节以及各阶失效模式相关的三种计算方法。详细的讨论了各阶失效模式相关的情况。确定了相关系数矩阵,在O.Ditlevsen二阶窄界理论计算的基础上,根据突出主要失效模式忽略次要失效模式的原则,推导了相关失效模式下可靠度的计算模型。并分别对基本随机变量服从正态分布、任意分布的情况进行了可靠性拓扑优化设计。