本文研究了二维纤维增强复合材料及复合材料层合板的纤维布局及结构拓扑的优化设计问题，文中采用节点设计变量，以杂交应力单元为基础，推导了单元刚度矩阵和灵敏度计算的解析表达式，提出了纤维增强复合材料优化设计的数学模型，并实现了优化算法。首先，介绍了结构优化设计的基本理论，然后以平面四边形杂交应力元为基础，提出了以单元节点处纤维方向和纤维体积比为设计变量、柔顺度作为目标函数、纤维总体积作为约束条件的纤维布局优化设计模型，给出了灵敏度分析和实现纤维布局优化设计的步骤。通过若干数值算例验证了提出模型的可行性和有效性。其次，提出了纤维增强复合材料拓扑与纤维方向的组合优化设计方法，讨论已有拓扑优化方法的数值不稳定问题及处理策略。提出了以单元节点处纤维方向和材料密度为设计变量、柔顺度作为目标函数、材料体积作为约束条件的拓扑与纤维方向的组合优化设计模型。采用该模型对悬臂梁和简支梁算例进行了拓扑优化设计，不需要借助过滤技术或其它处理措施，该方法就能得到具有清晰拓扑和合理纤维铺设路径的优化结果，表明了提出方法的可行性和有效性。第三，介绍了用杂交法改善应力解的新型复合材料层合板单元，在此基础上，提出了纤维增强复合材料层合板纤维布局优化设计方法，以单元节点处各层纤维方向和纤维体积比为设计变量、柔顺度作为目标函数、纤维总体积作为约束条件的纤维布局优化设计模型，介绍了单元刚度矩阵和灵敏度计算的解析表达式，并通过若干个数值算例说明了该方法的可行性。最后，对全部工作进行了总结，并对未来工作提出了展望。