论文部分内容阅读
摘 要 本文对盲信号处理中的ICA算法作了简要介绍，并主要关注了其中能实现快速收敛的FastICA算法，而该算法的核心其实就是利用了反演理论中的牛顿迭代法，指出了算法的优点。最后进行了仿真以验证算法的实际效果。
关键词 反演理论 盲分离 FastICA
中图分类号：TP301.6 文献标识码：A
0 引言
盲源分离（BSS：Blind source separation）一直信号处理中的热点问题。BSS指在仅了解观测信号的情况下，利用一些算法恢复经混合系统混合的源信号的过程。所谓的“盲”，指我们只知道观测值，没有其他先验信息。也就是说，除了观测的结果外，没有其他信息帮助我们去寻找原始的信号。这种情况下，想把原始信号准确地找到，显然是需要信号的一些其它特征的。
独立分量分析（ICA）是盲分离问题中的代表性方法。它假设原始信号之间是独立的，然后利用一些算法从混合信号中恢复原始信号。也就是说，ICA的前提是在任何时刻，源信号的各分量之间独立。这就说明了盲信号的分离就是使分离的各信号满足独立性。通常来说，ICA问题通过目标函数寻优实现。所谓的目标函数是指，为了将问题数值化，我们需要用函数来表现问题所需要达到的目标。比如，我们在经济问题中，为了弄清楚最大利润问题，可以去设定一个表示利润的函数，通过寻找该函数的驻点来找到让利润最大的条件，该函数就是一个目标函数。目标函数寻优与让问题得以解决是等价的。简而言之，就是用函数的寻优来数值化实际问题的目标。不过，想直接用函数的形式来表现信号的独立，从而产生目标函数是得不偿失的。因为，在数学上表现信号的独立，不可避免地需要使用信号的密度函数。由于先验信息的缺失，我们是不知道各信号的密度函数的。有些可以估计信号密度函数的方法，但这些方法普遍过于复杂，会使得问题的表述十分繁琐，不便求解。所以直接构造表现信号独立性的目标函数是不可行的，因此，一些等价于表现信号独立性，且计算方便可行的目标函数就显得尤为必要了。比如，我们可以通过互信息函数来等价地表现信号的独立。所谓的互信息，是指信号之间相互包含的信息，顾名思义，信号的独立性越强，互信息应该是越少的。所以我们可以通过对互信息函数寻优（即寻找互信息的最小值点），来表现信号之间的独立性。另外，我们还可以通过信息传输最大化来表现信号的独立性。
1 FastICA的原理
实际上FastICA是基于信息论的。根据目标函数的不同和寻优的算法特点可以构成各种类型ICA算法。ICA方法可归结为如下构成：ICA过程=目标函数+寻优算法。
1.1 数据的预处理
在实际问题中，获取的观测数据之间都具备相关性，因此一般都要求对观测数据进行白化或球化处理，因为白化处理可消除观测信号之间的相关性，因此简化了后面独立分量的提取。从实际效果上说，对信号进行白化处理与不对信号进行白化处理相比，恢复算法的收敛性更好。如果零均值的随机向量 = 满足{} = ，且为单位矩阵，称这个向量为白化（球化）向量。白化的意义在于去除对象之间的相关性。
白化作为ICA过程中的预处理模块可以极大地降低问题的复杂度，并且实现数据的白化比较简单，用一般的主成分分析就可实现。
1.2 FastICA算法
FastICA算法，是一种能很快找到最优点的基于迭代思想的算法。由于它利用了固定点迭代的思想，使得收敛更加快速、稳健。
FastICA算法将负熵最大化作为寻优目标。对于一些独立的随机变量的线性组合，它们的任意线性组合较它们本身更接近高斯分布。换句话说，原始信号比混合信号表现出的非高斯性会更强。综上所述，在信号分离过程中，可通过对信号分离结果的非高斯性度量来表示恢复信号间的相互独立性，当非高斯性度量达到最大值时，表示各独立分量的分离已经实现。
如果要估计个独立分量，可以按以下流程完成：
（1）对观测数据进行零均值化，即使观（下转第201页）（上接第194页）测值的均值为0；
（2）对观测数据进行白化过程，记白化后的结果为；
（3）记录独立分量的个数和迭代次数，且初始化 = 1；
（4）随机选取一个初始权向量，记为，作为独立分量的初始值；
（5）令 = {（）}{（）}，其中为待定的非线性函数，关于的选取见[2]；
（6） = （）；
（7）令 = / ||||；
（8）若不收敛的话，返回（5）；
（9）令迭代次数 = + 1，若≤，返回（4）。
FastICA算法与其他的恢复信号算法相比，有这些优点：
（1）算法收敛速度相对于其他算法更快，初始值选取得当的话，4到5步迭代往往就能收敛，且运行时间很短。
（2）和一些需要选择步长参数的梯度算法不同，与步长参数无关，无需调整这些参数，从而使得算法便于实现。
（3）非线性函数的选择可以多样化，不影响分离非高斯性的独立分量的效果。相对于其他算法而言，概率密度函数的估计可以省略，大大降低复杂度。
（4）算法结合神经算法的特点，是各分量并行的、分布式的算法，对机器内存要求很低。
2 针对FastICA算法的仿真
产生三个人工源信号（）,（）,（），分别服从均匀分布，拉普拉斯分布以及高斯分布。先对三个源信号采取线性混合，其中以随机生成的三阶高斯矩阵为混合矩阵。混合后，采取FastICA进行迭代，为使得结果的准确性，对源信号采样1000个点，迭代也进行1000次。分离结果表明，尽管振幅，顺序与源信号不同，但波形得到了较好的恢复，我们也可以清晰地辨认分离信号与源信号之间的对应关系。而振幅，顺序的不同正是FastICA算法的特征。当然，如果想要更精确地知道分离效果，我们可以通过一些评价指标来评价分离效果，比如相似系数矩阵。相似系数矩阵中各行不同列的那个绝对值最接近1的元素衡量了恢复信号与源信号的相似程度，在本例中我们计算三组信号的相似系数矩阵后得到，在三阶的相似系数矩阵中，位于三行且不同列的绝对值最接近1的三个元素分别是-0.9912,0.9994，-0.9967。这说明分离效果已经相当好了。当然，用来衡量分离效果的指标还有一些，比如我们也可以采用性能矩阵来表示分离效果。
牛顿迭代在此算法中最重要的作用是让计算变得简单，收敛非常快。通常情况下，只要初值向量选择合适，只需3到4次迭代就可达到收敛的效果。所以牛顿迭代极大地发展了ICA问题，使之向前迈进了一大步。我们可以将这种方法与其他恢复信号的算法比较。比如我们用被广泛认可的Infomax算法去恢复原始信号，实验表明，针对同样的原始信号，Infomax算法需要迭代到1000多步，其结果才趋于收敛。这种差别使得牛顿迭代法的优势在原始信号较多时体现得更为明显。
这种快速收敛的算法的应用前景非常广阔。接收器可视为一个混合系统，接收器收到的信号可视为观测信号，这也是我们能用来分析的唯一数据。地质工作者需要从接收器接收的信号中，去将各个地层或地质结构对应的反射信号分离出来，这样就可以让我们在不深入地表以下的情况下，仅由分离结果来判断地表以下的各地层是怎样的，各个地层的地质结构具有怎样的特征。而这种分离过程，实际上就是我们前面所说的盲分离问题了。鉴于地震信号的多样性，复杂性，快速稳健的分离算法就显得尤为重要了。牛顿迭代正是满足这一要求的优良算法。
关键词 反演理论 盲分离 FastICA
中图分类号：TP301.6 文献标识码：A
0 引言
盲源分离（BSS：Blind source separation）一直信号处理中的热点问题。BSS指在仅了解观测信号的情况下，利用一些算法恢复经混合系统混合的源信号的过程。所谓的“盲”，指我们只知道观测值，没有其他先验信息。也就是说，除了观测的结果外，没有其他信息帮助我们去寻找原始的信号。这种情况下，想把原始信号准确地找到，显然是需要信号的一些其它特征的。
独立分量分析（ICA）是盲分离问题中的代表性方法。它假设原始信号之间是独立的，然后利用一些算法从混合信号中恢复原始信号。也就是说，ICA的前提是在任何时刻，源信号的各分量之间独立。这就说明了盲信号的分离就是使分离的各信号满足独立性。通常来说，ICA问题通过目标函数寻优实现。所谓的目标函数是指，为了将问题数值化，我们需要用函数来表现问题所需要达到的目标。比如，我们在经济问题中，为了弄清楚最大利润问题，可以去设定一个表示利润的函数，通过寻找该函数的驻点来找到让利润最大的条件，该函数就是一个目标函数。目标函数寻优与让问题得以解决是等价的。简而言之，就是用函数的寻优来数值化实际问题的目标。不过，想直接用函数的形式来表现信号的独立，从而产生目标函数是得不偿失的。因为，在数学上表现信号的独立，不可避免地需要使用信号的密度函数。由于先验信息的缺失，我们是不知道各信号的密度函数的。有些可以估计信号密度函数的方法，但这些方法普遍过于复杂，会使得问题的表述十分繁琐，不便求解。所以直接构造表现信号独立性的目标函数是不可行的，因此，一些等价于表现信号独立性，且计算方便可行的目标函数就显得尤为必要了。比如，我们可以通过互信息函数来等价地表现信号的独立。所谓的互信息，是指信号之间相互包含的信息，顾名思义，信号的独立性越强，互信息应该是越少的。所以我们可以通过对互信息函数寻优（即寻找互信息的最小值点），来表现信号之间的独立性。另外，我们还可以通过信息传输最大化来表现信号的独立性。
1 FastICA的原理
实际上FastICA是基于信息论的。根据目标函数的不同和寻优的算法特点可以构成各种类型ICA算法。ICA方法可归结为如下构成：ICA过程=目标函数+寻优算法。
1.1 数据的预处理
在实际问题中，获取的观测数据之间都具备相关性，因此一般都要求对观测数据进行白化或球化处理，因为白化处理可消除观测信号之间的相关性，因此简化了后面独立分量的提取。从实际效果上说，对信号进行白化处理与不对信号进行白化处理相比，恢复算法的收敛性更好。如果零均值的随机向量 = 满足{} = ，且为单位矩阵，称这个向量为白化（球化）向量。白化的意义在于去除对象之间的相关性。
白化作为ICA过程中的预处理模块可以极大地降低问题的复杂度，并且实现数据的白化比较简单，用一般的主成分分析就可实现。
1.2 FastICA算法
FastICA算法，是一种能很快找到最优点的基于迭代思想的算法。由于它利用了固定点迭代的思想，使得收敛更加快速、稳健。
FastICA算法将负熵最大化作为寻优目标。对于一些独立的随机变量的线性组合，它们的任意线性组合较它们本身更接近高斯分布。换句话说，原始信号比混合信号表现出的非高斯性会更强。综上所述，在信号分离过程中，可通过对信号分离结果的非高斯性度量来表示恢复信号间的相互独立性，当非高斯性度量达到最大值时，表示各独立分量的分离已经实现。
如果要估计个独立分量，可以按以下流程完成：
（1）对观测数据进行零均值化，即使观（下转第201页）（上接第194页）测值的均值为0；
（2）对观测数据进行白化过程，记白化后的结果为；
（3）记录独立分量的个数和迭代次数，且初始化 = 1；
（4）随机选取一个初始权向量，记为，作为独立分量的初始值；
（5）令 = {（）}{（）}，其中为待定的非线性函数，关于的选取见[2]；
（6） = （）；
（7）令 = / ||||；
（8）若不收敛的话，返回（5）；
（9）令迭代次数 = + 1，若≤，返回（4）。
FastICA算法与其他的恢复信号算法相比，有这些优点：
（1）算法收敛速度相对于其他算法更快，初始值选取得当的话，4到5步迭代往往就能收敛，且运行时间很短。
（2）和一些需要选择步长参数的梯度算法不同，与步长参数无关，无需调整这些参数，从而使得算法便于实现。
（3）非线性函数的选择可以多样化，不影响分离非高斯性的独立分量的效果。相对于其他算法而言，概率密度函数的估计可以省略，大大降低复杂度。
（4）算法结合神经算法的特点，是各分量并行的、分布式的算法，对机器内存要求很低。
2 针对FastICA算法的仿真
产生三个人工源信号（）,（）,（），分别服从均匀分布，拉普拉斯分布以及高斯分布。先对三个源信号采取线性混合，其中以随机生成的三阶高斯矩阵为混合矩阵。混合后，采取FastICA进行迭代，为使得结果的准确性，对源信号采样1000个点，迭代也进行1000次。分离结果表明，尽管振幅，顺序与源信号不同，但波形得到了较好的恢复，我们也可以清晰地辨认分离信号与源信号之间的对应关系。而振幅，顺序的不同正是FastICA算法的特征。当然，如果想要更精确地知道分离效果，我们可以通过一些评价指标来评价分离效果，比如相似系数矩阵。相似系数矩阵中各行不同列的那个绝对值最接近1的元素衡量了恢复信号与源信号的相似程度，在本例中我们计算三组信号的相似系数矩阵后得到，在三阶的相似系数矩阵中，位于三行且不同列的绝对值最接近1的三个元素分别是-0.9912,0.9994，-0.9967。这说明分离效果已经相当好了。当然，用来衡量分离效果的指标还有一些，比如我们也可以采用性能矩阵来表示分离效果。
牛顿迭代在此算法中最重要的作用是让计算变得简单，收敛非常快。通常情况下，只要初值向量选择合适，只需3到4次迭代就可达到收敛的效果。所以牛顿迭代极大地发展了ICA问题，使之向前迈进了一大步。我们可以将这种方法与其他恢复信号的算法比较。比如我们用被广泛认可的Infomax算法去恢复原始信号，实验表明，针对同样的原始信号，Infomax算法需要迭代到1000多步，其结果才趋于收敛。这种差别使得牛顿迭代法的优势在原始信号较多时体现得更为明显。
这种快速收敛的算法的应用前景非常广阔。接收器可视为一个混合系统，接收器收到的信号可视为观测信号，这也是我们能用来分析的唯一数据。地质工作者需要从接收器接收的信号中，去将各个地层或地质结构对应的反射信号分离出来，这样就可以让我们在不深入地表以下的情况下，仅由分离结果来判断地表以下的各地层是怎样的，各个地层的地质结构具有怎样的特征。而这种分离过程，实际上就是我们前面所说的盲分离问题了。鉴于地震信号的多样性，复杂性，快速稳健的分离算法就显得尤为重要了。牛顿迭代正是满足这一要求的优良算法。