本篇论文主要研究了贝叶斯算法及其在逆问题中用于重构目标信号的应用。更确切地说,本文归纳推导了两类前沿的算法,分别是近似消息传递类算法(approximate message passing-like,AMP-like)以及期望传播类算法(expectation propagation-like,EP-like),其中AMP-like算法包括:近似消息传递(approximate message passing,AMP)、广义近似消息传递(generalized approximate message passing,AMP)、多层广义近似消息传递(multi-layer generalized approximate message passing,ML-GAMP)等;EP-like算法包括:期望传播(expectation propagation,EP)、期望一致(expectation consistent,EC)、广义期望一致信号重构(generalized expectation consistent signal recovery,GEC-SR)、多层广义期望一致(multi-layer generalized expectation consistent,ML-GEC)等。AMP算法最早由Donoho等人提出,用于解决压缩感知领域的标准线性逆问题的信号重构。随后,Rangan等人扩展了AMP对噪声分布的限制,提出了GAMP算法,使之适用于广义线性模型。AMP和GAMP都是源于因子图的Sum-Product算法,因其具有低复杂度、性能优异的特点而受到广泛关注。实验部分也验证了AMP-like算法在信号重构方面的杰出性能。EP算法最早见于Minka的博士论文,用于贝叶斯网络的因子可分解的概率近似应用。EP改进了假设密度滤波算法消息更新的方式,并且与变分法有着很强的联系。更确切地说,EP与变分法具体区别在于对KL散度的使用上。此外,EP与AMP也存在着很强的联系,通过用图来表示EP,即Sum-Product算法是一种完全因子化的EP,说明了AMP是EP的一类算法。与AMP相似,EP在广义线性模型、多层广义线性模型也有着相应地扩展。GEC和GEC-SR将EP扩展到广义线性模型,用于解决广义线性逆问题的目标信号的恢复。GEC算法虽然适用于广义线性模型,但是其算法稳定性极差。GEC-SR通过加入线性空间±(z?H x)模块,解决了GEC的收敛问题。本文推导归纳了,AMP-like算法和EP-like算法,分别是·提出了一种基于分列式因子图的AMP推导方法。分列式因子图相对于传统因子图而言,具有可扩展到多层模型的优势。l提出了一种新的消息更新规则用于推导VAMP算法。该消息更新规则结合分列式因子图,对于多层模型同样适用。·提出了一种基于EP的GAMP推导方法。该方法极大地简化了GAMP的推导过程,并且将GAMP扩展到复数领域。此外,该方法建立了EP与GAMP之间的直接联系。·提出了一种基于分列式因子图的GAMP推导方法。该方法相对于原始的GAMP推导过程极大简化了推导步骤,同时该方法对于复数和实数运算同样适用。·补充了GEC-SR的证明。