论文部分内容阅读
近年来,人工智能技术在人类生活中的各个领域都得到了广泛地应用。特别是机器学习技术在分类、聚类以及回归等众多知识任务中都取得了突破性进展。其中,分类是目前机器学习中重要的研究方向之一,它广泛应用于语义解析、图像识别、文本分类以及辅助医学诊断等实际应用场合。Takagi-Sugeno-Kang(TSK)作为人工智能的一个重要研究分支已被应用到多个领域,怎样提高它的分类性能和增强可解释性仍然是一个十分具有挑战性的工作。然而在面对新兴的应用场景时,通常面临以下挑战:(1)仅随机提取原样本中的部分特征,如何保持分类器的分类性能和强的可解释性,同时还要适用于大样本分类;(2)在保证整个分类器分类性能的前提下,提高各个训练块的泛化能力;(3)如何增强模糊分类器的避免过拟合能力;(4)如何解决现有层次模糊分类器在解释中间层输出和模糊规则方面存在的不足问题。为了解决传统分类器在处理上述应用场景中所面临的问题,本论文主要从分类角度对经典的模糊分类器进行改进,以期得到令人满意的分类效果。具体工作如下:(1)第一部分为第二章节,主要探讨了基于局部特征信息的层次模糊分类问题。为了进一步增强层次模糊分类器的分类性能和可解释性,该小节在栈式结构原理的基础上提出了一种层次TSK模糊分类器。所提出的层次模糊分类器利用栈式结构逐块构建,每个基训练块由一个零阶TSK模糊分类器组成。根据栈式结构原理,当前基训练块的预测结果的随机投影所获得的训练集经过随机变化又作为下一个基训练块的输入。对于所提出的层次模糊分类器中,每个基训练块中的隐含层由具有可解释性的模糊规则表示,这些模糊规则又是通过随机划分、随机规则组合来进行特征选择的。根据固定的五个模糊划分,源数据集作为相同的输入空间被映射到每一个独立的基训练块中。每个基训练块的输出层又可以通过最小学习机(LLM)快速学习。由此,所提出的层次模糊分类器可以很好地适用于大样本数据集分类。最后,通过实验也证明了所提出的层次TSK模糊分类器具有良好的分类性能和可解释性。(2)第二部分为第三章节,主要探讨了基于优化训练特征的层次模糊分类问题。针对现有层次模糊分类器在解释中间层输出和模糊规则方面存在的不足,该小节提出了一种既具有良好分类性能又具有较高可解释性的层次结构TSK模糊分类器。为了增强分类性能,所提出的层次TSK模糊分类器中的每个基本训练单元通过一种特殊的叠加方式组织在一起。这种训练方式使得原始训练样本的所有输入特征再加上前一个训练单元的输出构成优化的训练空间,该优化的训练空间又作为下一个训练单元的输入。这些优化特征基本上可以打开原始输入空间的流形结构,从而可以实现增强的分类性能。在设计各个基本训练单元时,利用最小学习机快速获得模糊规则后件的解析解,提高训练效率。每个模糊规则则是通过随机选择输入特征,随机选择所选的输入特征所对应的固定的高斯隶属度函数而生成。这种方法生成的模糊规则具有可解释性。实验结果也展示了所提出的层次TSK模糊分类器具有增强的分类性能和高可解释性。(3)第三部分为第四章节,主要探讨了基于训练块内集成组合的层次模糊分类问题。该小节提出了一种可解释的TSK模糊分类器的分块组合方式,同时实现了良好的分类性能和强的可解释性。作为一种特殊的层次模糊分类器,该分类器采用逐块叠加的方法建立。每个基本构建块由多个零阶TSK模糊分类器组成,这些零阶TSK模糊分类器同时采用负相关学习的方法进行分块训练,提高了整个基本训练块的泛化能力。利用栈式泛化原理,当前基本训练块的输出随机投影到下一个基本训练块,再结合当前训练样本,目的是增强层次模糊分类器的泛化能力。构造这种特殊层次结构的目的在于保证所有基本训练块都可以在相同的输入/输出空间、当前训练样本以及上一个训练块的随机投影输出中进行训练。在输入层中,使用当前训练样本的目标输出,而不是使用上一个训练块的随机投影输出。基本训练块中的每一个TSK模糊分类器都由可解释的模糊规则组成,而这些规则又是通过随机选择输入特征和随机将固定模糊划分中的模糊子集分配给每个选定的输入特征而生成的。最终的实验结果证明了该层次TSK模糊分类器确实具有明显的分类优势。(4)第四部分为第五章节,主要探讨了基于受限玻尔兹曼机RBM且避免过拟合的层次模糊分类问题。本节提出了一种新的层次TSK模糊分类器,该分类器具有良好的分类性能、较好的可解释性和避免过拟合性能。与以前的深度TSK模糊分类器不同,本小节所提出的层次TSK模糊分类器将若干个零阶TSK模糊分类器作为其基本训练块,然后将它们组织成一个层次结构,使当前基本训练块的输出加上以前基本训练块的相应输出尽可能地近似为它们的原始输出。为了保证所提出分类器的可解释性和快速学习,本小节通过将原始输入空间投影到原始特征集对应的随机选择的子集上,每个基训练块都有自己的输入空间和短模糊规则,其前件通过随机选择特征生成。本小节选取了五个具有简明语言解释的高斯隶属度函数,并用最小学习机LLM快速学习其相应的后件参数。作为层与层叠加的一种替代方案,本小节所提出的层次TSK模糊分类器主要从生物学的角度设计的。因为它有一个可靠的理论基础,即在层次TSK模糊分类器中,每一个基本训练块的训练都可以从广义受限玻尔兹曼机(RBM)中等效地理解。这种训练模式在理论和经验上都证明了深度受限玻尔兹曼机(RBM)的优越性。本小节首次证明了所提出的分类器在训练这样的层次模糊分类器中所起的决定性作用。理论分析表明,所构建的层次TSK模糊分类器具有明显的避免过拟合现象的能力。最后,实验也证明了该层次TKS模糊分类器在分类性能、可解释性和避免过拟合方面的有效性。这也意味着本小节所提出的TSK模糊分类器为设计深度TSK模糊分类器提供了更灵活和有利的选择。