本文以模拟退火算法和非线性单纯形算法为基础，根据混合优化算法的混合策略，以及Press和Teukolsy在1991的工作，提出了两种针对非线性优化问题的非线性优化算法，SIMPSA算法和SMSA算法。并通过数值试验，证实了这两种算法的可行性和有效性。通过数值试验可以看出，本文所提出两种算法，即具有随机优化算法模拟退火算法的局部突跳能力也具有直接优化算法非线性单纯形算法所具有的的高效性。 本文所提出的两种算法，特别是SMSA算法主要根据Press和Teukolsy在1991的工作提出的。在他们的工作中，作者并没有给出的具体的算法结构和操作细节，特别应用算法求解有约束问题时处理约束的方法，没有给出任何建议。本文针对这些问题，利用Press和Teukolsy在1991的工作的思想，并结合其它文献所给的结论和思想以及数值试验，本文也提出了另一种算法SIMPSA算法。并给出了算法的处理问题的具体方法。 本文所用的数值试验的例子比较具有典型性，一些例子具有较多的局部极小点，能代表一些非线性优化问题的特点。通过数值试验，本文所给出的算法能很好处理所给出的例子，因此可以说明算法SIMPSA与算法SMSA是可行和有效的。