论文部分内容阅读
近年来,深度学习已经成为机器学习领域的一项新兴研究,其多隐含层的神经网络架构有助于深度神经网络进行逐层的特征抽取以形成数据的高阶表示;贪婪的逐层无监督训练可以作为有监督参数微调过程的初始化设置,解决大数据时代训练标签难以获取的难题。但是,深度神经网络的有监督训练多采用基于梯度的优化准则,在该学习框架中,所有的隐含层参数需要迭代训练,因此,深度结构难以以快速的学习速率实现良好的泛化性能。针对基于梯度类学习算法训练速度慢、泛化性能差等缺点,黄广斌等人提出了一种简便、高效的训练策略——极限学习机(ELM)。在该策略中,单隐层前馈神经网络根据某种概率分布随机选取隐含层输出,避免了参数的迭代微调;鉴于其学习速率快、泛化性能好、不易陷入局部最优,ELM被广泛应用于各种分类和回归问题。然而,ELM的单隐层结构制约了其捕捉高维度数据中有效特征的能力,因此难以适用于大数据时代日益膨胀的数据。基于以上两种算法,黄广斌等人提出一种深度多层极限学习机算法,多层的神经网络结构使其可以提取出数据中高层次的抽象信息;ELM的理论避免了网络权值的反复迭代调整,提高了计算效率;半监督的逐层训练机制解决了很多实际问题中训练标签难以获取的问题。因此,深度多层极限学习机能同时有效地解决大数据时代高维度,大数据,获取标记样本难、构造特征难、训练难等问题。针对深度极限学习机(DELM)算法,本文主要做了以下研究:(1)在机器人抓取识别任务中,针对RGB信息和Depth信息融合问题,本文采用多模态深度极限学习机(MM-DELM)作为多模态融合模型训练方案,可以有效地学习并融合RGB模态和Depth模态中的原始像素信息,并在Cornell Grasping数据集上进行验证。(2)通过实验证明,MM-DELM训练算法极大地改善了识别的准确率,并且遵循着类似ELM的收敛性,其性能在广泛的参数取值空间内很稳定,不同的参数选择并不会造成模型性能大范围的变动。因此,为本文的参数选择提供了依据。(3)在时间序列预测任务中,本文将DELM算法应用于建立局部预测模型。该模型将混合欧式距离作为相似性度量方法,完成训练样本的重组,并采用DELM构建重组样本的预测模型。(4)为了验证DELM预测模型的准确性,选取时间序列数据库(TSDL)的五个数据集作为实验数据集,分别验证了基于混合欧氏距离的DELM局部预测模型在单步预测和多步预测中的泛化性能。