复合材料具有比强度和比刚度大、重量轻、且疲劳性能、破损安全和可设计性都比金属材料优越的特点，目前已广泛应用于飞机结构上。 通过对复合材料层壳进行优化设计可以提高飞机性能，可以设计出满足结构刚度、强度以及稳定性要求且使得结构重量更轻的飞机结构。此外，在较大外力作用下，层壳结构将产生大的变形，会使结构变形成为几何非线性问题，结构很可能出现失稳现象，此时需要使用非线性方法进行分析以研究结构的稳定性情况。 本论文在综述优化设计理论研究的基础上，设计了复合材料铺层厚度优化设计的算法和流程。应用以上理论和算法并使用ANSYS软件对某型直升机全复合材料尾段结构进行优化设计，优化对象是复合材料的铺层厚度，优化采用APDL命令流格式，完成了一套完整的结构建模—分析—优化设计过程。 本文详细讨论了复合材料壳体结构稳定性有限元计算方法，其中具体讨论了三个方面：(1)、壳体点应变的非线性关系及插值，(2)、壳结构形变能的二阶变分及特征方程，(3)、大型代数特征方程组的数值计算方法。本文还详细介绍了用于非线性分析的计算方法：弧长法，详细讨论了线性弧长法、球面弧长法和球面显式迭代法。在这些理论的基础上，应用MSC，Marc软件对某型直升机全复合材料垂尾结构和某型无人机垂尾结构进行非线性分析，分析过程采用PCL命令流格式，完成了一套完整的结构建模和非线性分析过程。