荧光分子断层成像（Fluorescence Molecular Tomography,FMT）是一种低成本的高灵敏光学分子成像模态,它可将小动物体内的分子水平活动三维可视化显示。因具有广泛可获得的荧光探针,在预临床研究中具有极大的应用潜力。但由于测量信息不足和近红外光在组织内的高散射导致FMT的反演问题是高度不适定的。为了减少FMT逆问题的不适定性,本文围绕能实现早期肿瘤检测应用的FMT,开展重建算法的研究,采用基于传输模型的重建框架,引入Log-sum非凸正则化罚函数获得更稀疏的解。为高效求解非凸正则重建模型,所做的研究工作主要包括以下两个方面:首先应用非单调加速近端梯度算法（Non-monotonic Accelerate Proximal Gradient,nm APG）求解逆问题,算法中引入监督项确保解收敛到关键点。为评估Log-sum罚函数和nm APG算法的性能,设置了多组仿真实验,对比了nm APG算法求解基于平滑剪切绝对偏差（Smoothly Clipped Absolute Deviation,SCAD）、最大最小凹度（Minimax Concave Penalty,MCP）和Log-sum等非凸罚函数应用在FMT逆问题时的重建性能。实验结果表明,nm APG算法在求解非凸正则化模型上具有可行性和有效性,但在求解Log-sum非凸模型上表现更为突出,此外与混合优化（Hybrid Optimization,HO）算法相比,nm APG算法的重建结果在定位精度和形状拟合度都有所提高,特别是对多目标的辨别能力上有明显的提升。FMT/CT的双模态系统上的仿体实验进一步验证了nm APG算法在FMT重建中的可行性。为了进一步提高重建质量,引入在线最大后验估计（Online Maximum a Posterior Estimation algorithm,OPE）算法求解FMT逆问题,该算法在每次迭代过程中通过评估目标函数的梯度来逼近一个平稳点。单光源仿真实验结果表明OPE算法相比于nm APG算法位置误差更小,形状拟合度更高,双光源仿真实验结果则说明相比于nm APG算法,OPE算法在对不同大小的多目标分辨能力上有所提高。并且表明OPE算法是一个对参数不敏感、稳定的算法,所花费的时间代价远远小于对比算法。仿体实验结果进一步表明所提出的基于Log-sum惩罚项的重建模型和OPE算法在重建微小目标的FMT应用中具有一定的实用性。