论文部分内容阅读
独立分量分析(Independent Compondent Analysis：ICA)是近年来提出的非常有效的数据分析工具，它主要用来从混合数据中提取出原始的独立信号。最基本的ICA模型假设源信号是线性混合并且是互相独立的。独立分量分析可以用来处理很多应用领域的数据，例如数字图像、文本数据库、以及经济指标数据、心理测量数据等等。 在过去的二十多年里，由于ICA所具有的广阔的应用前景，吸引了众多的科研工作者献身其中，ICA也因此获得了迅猛的发展。然而，ICA尚处于发展阶段，其理论和应用方面的研究都有待于进一步深化和完善。 本文首先回顾了独立分量分析问题的发展历史、研究现状和实际应用，并对独立分量分析理论基础进行了简单描述，包括独立分量分析的数学定义、基本假设、相关的数学理论基础和实现途径等。然后针对一些独立分量分析的算法和应用问题进行了深入的研究，并提出了几个有效的算法。全文的主要工作包括以下几个方面： 1) 提出了一种基于多层感知器网络的后非线性(PNL)独立分量分析算法。后非线性(Post-nonlinear：PNL)混合信号的分解问题，是ICA模型扩展到非线性混合的一个重要情形。现有的PNL算法往往存在一些缺点，例如计算量比较大、记分函数估计不精确等。为了克服这些缺点，本文提出了一种基于最小互信息的PNL分离算法。我们以在普通非线性独立分量分析中得到广泛应用的MISEP算法的基本理论作为基础，然后结合后非线性混合的实际，通过在MISEP算法中加入关于混合结构的先验知识构建出适合PNL的分离算法。该PNL分离算法模型由两组多层感知机中间加一个线性网络构成。分离网络的优化学习算法通过最大化网络输出熵得出。由于分离网络的特殊结构以及对分离网络所施加的约束，使得最大化网络输出熵等价于最小化分离变量的互信息，但却不需要估计每个分离变量的边缘概率密度函数。 2) 结合源信号的先验知识，提出了一种基于最小互信息的非负ICA算法。与上面提出的PNL-ICA算法相似，本算法也是基于最小化分离信号的互信息，