从二维（Two-dimensional,2D）图像中重建场景的三维（Three-dimensional,3D）几何结构是计算机视觉中的基本研究课题。尽管相关的理论和应用研究已经经历了数十年，近年来仍不断涌现出许多基于图像的三维重建的新成果，这表明该课题仍然是一个相当活跃的热门研究方向。基于图像的三维重建是图像获取的逆过程，其本质是从二维图像观察中估计全部（或者部分）相机参数以及场景点的三维坐标。由于图像数据不可避免的受噪声和外点（Outlier）的干扰，使得上述逆过程面临诸多挑战。本论文关注基于图像点特征的、没有任何场景先验知识的三维重建问题，深入研究从两视图到多视图、从陆上到水下环境等四类典型的三维重建问题的建模及求解方法。本论文旨在提高三维重建算法的鲁棒性、精度和效率，论文的创新点和主要贡献概括如下：将非定标两视图三维重建问题转化为一个新的、鲁棒的带约束优化问题，该带约束优化问题综合考虑了图像噪声、外点以及两视图三维重建中的含糊性等因素。提出一个基于改进的ε约束自适应差分进化（ε ConstrainedAdaptive Differential Evolution, εADE）方法的混合优化框架对上述问题有效求解。该混合优化框架中提出了新的、具有几何意义的操作算子，使得算法的稳定性和收敛性能均明显提升，且三维重建精度显著优于现有方法；提出一种混合优化框架下基于最优内点选取和三维结构求精的、鲁棒的多视图二范数（L2）三角化方法。本文推导了对极转移（Epipolar Transfer）协方差矩阵的解析计算方法，并在此基础上提出一种基于残差一致性（Residual-consensus）的图像噪声强度估计，为图像观察内点的选取提供重要依据。此外，提出了两种三维结构误差边界计算方法，极大的缩小了三维结构求精的搜索范围。与同类最新算法相比，本文三角化方法可获得包含更多三维点的、更加精确的三维结构，并提高了大规模实验数据的处理效率；对于水下成像系统，由于相机与被观察物体处于不同的介质（空气、水）中，当光线通过不同介质的交界面时会发生折射现象，从而导致图像折射变形（Refractive Distortion）。针对包含两个相机（每个相机均放置在单独的、有透明平面窗口的防水外壳中）的一般水下成像系统，本文提出一种基于折射相机模型（Refractive Camera Model）的水下两视图三维重建方法。上述方法首次实现了无需定标物的高精度水下两视图三维重建；本文首次对折射变形对基于传统透视相机模型的水下多视图三维重建质量的影响进行了理论分析和系统、定量的实验研究。该研究结果揭示了一个非常实用、但尚未在学术界引起广泛注意的事实，即当成像系统参数满足一定条件时，透视相机模型结合镜头径向畸变（Lens Radial Distortion）矫正和焦距调节，可以有效消除折射变形对多视图水下三维重建的影响。上述研究为水下三维成像系统参数的选择，以及基于透视相机模型的多视图水下三维重建方法的应用提供了重要的理论和实验依据。综上所述，本论文深入研究并提出了多个可以提升基于图像点特征的三维重建质量的新方法。本文方法理论的正确性和应用的可行性均在完整的三维重建系统中进行了广泛的实验验证，其性能的优越性在与最新相关方法的对比中得到了印证。