航空航天工程应用中存在大量的薄壁曲壳结构。由于薄壁曲壳的结构特点，其屈曲失稳往往发生在结构强度破坏之前，因此有必要对这类结构进行稳定性分析。实际应用中，为了结构和功能上的需要，薄壁曲壳结构上通常会有各种形状、不同大小的开口，而这些开口进一步增加了薄壁曲壳结构屈曲失稳的风险。针对开口薄壁曲壳结构上的孔洞特征，本文进行了孔形屈曲优化设计研究。首先采用参数映射法将孔形设计变量定义在参数平面上，再通过曲壳与参数平面之间的映射关系将平面孔形曲线映射回曲壳结构上，自动满足了优化过程中孔形曲线始终位于给定的曲面结构上的几何约束。考虑到屈曲失稳分析中，特征值屈曲分析与实验结果的巨大差异，采用非线性屈曲分析实现屈曲极限载荷的求解，分析中同时考虑了几何非线性与材料非线性的影响，并结合相应的灵敏度分析建立了薄壁曲壳结构上的孔形屈曲优化设计的一般流程。最后对开口圆柱壳这一数值算例进行了孔形屈曲优化设计，并与文献中的实验结果进行对比，验证了数值算例的有效性。