本论文研究求解大规模无约束优化问题和有界约束优化问题的算法．建立算法的收敛性理论，并通过大量的数值试验验证算法的有效性．第2章，我们在Wei，Li，和Qi提出的一种修正BFGS算法基础上提出一种求解大规模无约束问题的有限记忆BFGS方法．该算法的一个重要特点是充分利用了目标函数值和梯度的信息．我们证明该算法用于求解一致凸函数极小化问题时具有全局收敛性．数值试验表明，该算法比传统的有限记忆BFGS方法数值结果要好．第3章，在Dai-Liao以及Li-Tang-Wei提出的非线性共轭梯度法的基础上，我们分别提出两种改进的共轭梯度法．所提出算法的一个非常好的性质是算法总能产生下降的方向，该性质与算法所用的线搜索无关．我们证明本章算法用于求解非凸函数极小化问题时也具有全局收敛性．并通过大量的数值试验验证算法的数值效果，结果表明，本章所提出的算法比已有的被认为数值效果最好的标准的PRP方法数值结果要好．第4-5章，利用Facchinei，Judice和Soares提出的积极集估计技术，结合有限记忆BFGS方法提出求解大规模有界约束问题的两种算法．第4章提出的算法充分利用了严格互补条件的特征，采用回溯策略保持算法产生的迭代点可行．第5章的算法使用了梯度投影技术．所提出的算法每次迭代可同时删除或增加多个约束．在一定条件下，我们建立算法的全局收敛性定理．我们还对这两种方法进行数值试验．第6章，对Ni和Yuan提出的子空间有限记忆拟牛顿法进行改进．改进后的算法更多地使用BFGS迭代步．数值试验表明改进后的算法提高了效率．第7章，基于Facchinei，Judice和Soares提出的积极集判别技术，提出一种求解大规模有界约束问题的积极集Barzilai-Browein梯度方法．在一定的条件下，我们建立算法的全局收敛性．本章的数值试验表明，该算法能与PROJBFGS和谱投影梯度算法SPG相媲美第8章，我们在Facchinei，Fischer，和Kanzow提出的积极集估计技术基础上，结合Barzilai-Browein梯度方法，提出一种可用于求解退化的有界约束问题的投影Barzilai-Browein算法．我们建立该算法使用非单调搜索技术时的全局收敛性．数值试验表明，此算法比SPG数值结果要好．本博士论文得到了国家自然科学基金的资助(10471036)．