基于PCA和L2正则化的自适应学习率自编码器降维算法研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:hl830320
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在如今的大数据时代,由于数据源十分广泛,而且数据的内容也日趋复杂,使得人们需要对之添加更多的属性加以描述,进而导致数据维度的增加。对于高维数据,因为数据本身具有的维度高、规模大,结构复杂的特点,使得传统的数据挖掘算法无法发挥理想的效果,由此引起的一系列问题被称为“维度灾难(Curse of Dimensionality)”。维度灾难是机器学习领域的一项巨大挑战。在大数据时代,想要解决好这个问题,势必需要一种强大的降维算法来处理结构复杂、特征繁多的高维数据。自编码器(Auto-Encoder)是一种基于无监督学习的非线性全局降维网络模型,它本身及其衍生出的降噪、稀疏、卷积自编码器等网络模型在面对稀疏、复杂数据的无监督学习问题时展现出其他同类算法所不具备的优势与潜力,目前诸多学者都己参与到它的研究和改进中。本文以用于降维的自编码器模型为出发点,针对该模型的几个不足之处进行改进:(1)在模型的结构方面,由于自编码器也属于深度神经网络,其结构没有特定规律,因此本文从模型层数和每层的神经元个数入手,采用主成分分析(PCA)算法估算出数据的本征维度并设计对照实验,借此调整网络模型的结构并使用该结构处理后续的降维问题。(2)自编码器模型结构相对复杂,在其损失函数中加入正则化项可以降低模型复杂度并提高泛化能力,但正则化参数需要根据实际情况人为设定,因此本文针对这个问题利用极大似然估计法求解正则化参数。(3)自编码器模型结构相对复杂,固定的学习率将会严重影响学习效率及学习效果,因此本文使用最近流行的Adam优化算法,使模型在训练过程中能够自适应的调整学习率和模型参数。最后,本文分别在两个数据集上验证模型的性能,实验结果证明,本文所提出的改进模型相较其他模型的降维效果更优,所提出的改进策略是可行的。
其他文献
篮球运动起源于校园,以其独有的魅力和特殊的教育意义深受广大高校学生的喜爱,是校园中最受欢迎的体育项目,有着深厚的群众基础。为了更好地在校园中开展篮球运动,上海市于2016年2月成立了校园篮球联盟,目前该联盟已成为上海大中小各学段推广篮球运动项目、开展校级赛事、组织培养篮球后备人才的重要推手。随后,第一届上海市校园篮球联盟杯赛于2017年11月开赛,该赛事在校园内引起强烈的反响,两年来越来越多的学生
疟疾是一类严重威胁人类健康的疾病,每年约有35亿人感染,并可导致66万人死亡,其对撒哈拉以南的非洲地区的危害尤为严重。该病主要影响初次感染个体,尤其是对5岁以下儿童和初次/二
随着物质生活的提高,医疗技术的不断改进,世界人口的人均寿命也在不断地增长,世界上的发达国家和部分发展中国家都面临着严重的老龄化问题。相比于庞大的老龄化群体,各国拥有的医护人员数量远不能满足需求,因此诞生了智慧医疗的体域网系统。无线体域网系统可以通过传感器采集到用户的生理数据,并通过汇聚节点将用户的数据发送给云端医疗机构,既能减少人工成本又能及时发现患者的病症,为老人和患者的健康提供了保障,但同时也
清洁的水是联合国可持续发展目标(SDGs)中的第六项指标,其是人类赖以生存的自然资源,也是经济社会可持续发展的战略性资源。水资源日益匮乏和水资源空间分布极不平衡是我国的基本水情。可持续的水资源保护和消费,是中国面临的重大挑战。本文引入资源导向和环境导向型水足迹的概念,前者侧重于水资源的消耗,而后者侧重于评估用水的环境影响,基于多区域投入产出(Multi-Regional Input-Output
水从舌边是为活字,意为舌旁之水(即唾液)能维持人体的生命活力。唾液是口腔内唾液腺所分泌的混合物,是无色、无味的近于中性的泡沫状液体。其成分与血浆类似,绝大部分是水,除此之
光学薄膜损伤阈值是衡量光学薄膜抗激光损伤能力的重要参数,而要实现损伤阈值的测试必须先实现薄膜损伤的判识。本文提出了一种基于声波频率特征与薄膜损伤内在关系的判识方
我国目前正在加快实施与推进“供给侧结构性改革”,急需重整制度发挥拯救困境公司、调整经济结构和优化产业结构的重要作用。破产重整程序中多方主体为了不同的利益追求而互相博弈和妥协。重整计划毫无疑问是破产重整程序中最重要的法律文件,其主要内容是对各方主体的利益进行调整。因此,破产重整中程序中的出资人权益调整毋庸置疑,是重整计划中的一项重要内容。2007年修改的《企业破产法》虽然对出资人权益调整作了规定,但
背景与目的双相情感障碍(Bipolar disorder,BD)是一种严重的精神疾病,其特征是反复发作的情绪高涨、低落或混合存在。临床上容易漏诊、误诊、不规范化治疗,可能使患者接受了
木质纤维素是最丰富的可再生资源,是人类低成本生产生物质产品和生物能源的重要资源。在我国,玉米秸秆是产量最大的农业废弃物。据悉,我国每年将有600万吨玉米秸秆产生。最近,由
地球环境与人类密切相关,无论是哪个国家、地区,守护唯一的家园是我们的重要使命。当下,随着经济的高速发展,环境问题成为了无法忽视的重要问题,想要解决环境问题,首先需要充分了解我们所面临的环境现状。本翻译实践报告的文本《影响地球的“麻烦”物质》通过调查研究,揭示了POPs、塑料微粒、PM2.5、水银等化学物质是如何被排放并扩散到地球,又给人们带去了怎样的影响。在书里,环境专家们利用简单易懂的文字,结合