面向大规模数据集的神经网络动态学习算法研究

来源 :华东理工大学 | 被引量 : 0次 | 上传用户:niuyq888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分类精度和学习速度是评价分类器性能的两个主要指标。现有多层感知器(Multilayer perceptrons, MLPs)及其学习算法能有效解决中、小规模即样本数、维数和样本类别均比较小的数据集学习和分类问题,但对大规模数据集的性能往往不够理想。为此,本论文主要从以下几个方面开展研究工作:1)针对采用标准Sigmoid型活化函数的误差反向传播(back-propagation, BP)算法收敛速度慢且容易陷入局部最小的缺点,分析了一般形式的Sigmoid型活化函数强度和粒度因子对学习速度和分类精度的影响,并给出了参数合适的取值范围。2)提出了模块化MLPs以解决类别数较多的数据集分类问题。一对一(One-against-one, OAO)的任务分解方法会产生过多的MLP模块,不仅导致学习时间长和网络结构复杂问题,而且分类精度往往不够高;反之,一对所有(One-against-all, OAA)的任务分解方法会出现样本严重不平衡问题。本文针对严重不平衡数据集,提出了增加虚拟样本的解决方法。3)当样本数很多时,常规MLPs将训练样本全部读入,导致学习时间很长的问题。本质上,神经网络学习过程是通过迭代逐步找到决策边界的过程,只有在决策边界附近的小部分样本才会最终对较优边界的确定起着重要作用。神经网络及其学习算法可以只让边界附近的那一小部分样本参加学习,从而得到和学习原始大规模样本集一样或相似的性能。为此,本文提出了一种动态学习算法来加快神经网络的学习速度。4)当类别之间的样本相距很近或重叠,即当类间间隔(Margins)很小时,基于误差反传的迭代学习算法找到复杂决策边界的过程将十分漫长。我们提出一种混合特征编码的方法,在保持样本间相对位置不变或近似不变的前提下,将样本从原始空间映射到较高维的空间中,放大类与类之间的间隔,达到提高学习速度的目的。我们重点以机器学习数据库的Letter和Shuttle、MNIST手写字体这3个规模较大的数据集为应用对象进行了学习与分类实验。结果表明,本文提出的神经网络动态学习算法不仅具有学习速度快,而且具有良好的推广性能。
其他文献
针对谱图检索和“白、灰、黑”复杂多组份体系解析的复杂性,把人工智能、数据库、数据库知识发现(Knowledge Discovery in Database,KDD)、专家数据库(Expert Database,ED)技术及
该文在分析了计算机信息系统开发方法体系结构的基础上,对当前使用最广的两个主要开发方法:结构化方法和面向对象方法进行了深入地研究和比较,并结合作者的工程实践,对结构化
  本文首先介绍了传统调试技术的分类和特点,随后提出了一种新型的调试技术——解释执行调试技术。阐述了其原理和基于这种技术的调试器结构,并介绍了这种技术在替代硬件仿真
印制电子工艺是一种相似于微纳米加工技术的加成反应,它是采用多种油墨材料印制和热处理等一系列工艺达到形成线路或者电极以构建电子部件或者电子器件为目标的印刷工艺。本文
颜色是图像的重要特征,影响着人们对图像的视觉感知和评价。鉴于目前在图像处理技术中关于颜色渐变算法、颜色渐变类型以及描述颜色渐变区域模型的研究相对较少。为了使用客观
该论文重点讨论利用目前先进的LotusDomino/Notes群件平台设计基于Web的机关办公自动化系统.首先介绍了WWW背景知识,包括Web规范和体系结构,几种Web应用开发技术.然后对机关
学位
该文基于小波分析和FBM模型分别实现了两种图象纹理分割算法,有效地检出了菌落图象中对分类最有意义的中间隆起部分,为后继工作奠定了基础.菌落形貌牲的定量描是实现菌种自动
针对连续工业生产过程特点和过程控制目标,该研究报告提出并讨论过程鲁棒优化控制问题.针对过程鲁棒控制理论研究和应用现状,指出存在的问题,分析产生的原因,然后从几个方面
信息化社会中人们工作的特点是群体性、交互性、分布性和协作性.计算机支持的协同工作(CSCW:Computer Supported Co-operative Work)作为一种将人类合作行为模式与计算机技术