凸和广义凸在数理经济、工程学、管理科学和最优化理论中有着很重要的地位。本文在广义不变凸性下主要研究了几类非线性优化问题解集的刻画。第一章介绍非线性优化问题解集刻画的研究现状。第二章介绍全文所需要的一些预备知识。第三章主要是在Dini上方向导数定义下，研究非线性优化问题解集的刻画。首先，给出了在Dini上方向导数定义下，几种广义不变凸性的一些性质。其次，对一类非线性优化问题的解集进行了刻画，其目标函数是η不变凸，约束函数是η伪线性。然后，当目标函数和约束函数均是η伪线性的时候，得到了更进一步的结果。第四章主要是在Clarke次微分定义下，利用Lagrange乘子给出了非光滑伪不变凸优化问题的一些性质，研究了此类问题解的刻画，并且给出了一些例子。第五章在一般向量优化问题的目标空间中研究了两种真有效点—Henig真有效点和Hurwicz真有效点的锥刻画。主要利用了集合在某点的相依锥、法向锥和可行方向锥对向量优化问题的真有效点的特征进行了刻画。第六章对全文作了简单总结并提出了一些有待进一步研究的问题。本文的创新之处主要体现在第三章、第四章、第五章。