数据挖掘是一门实际应用的学科领域,目的是从数据中发现知识,挖掘出潜在的、可用的经验模式,数据挖掘可以被视为机器学习和数据库的交叉领域,机器学习是数据挖掘常用的分析工具。其中,基于结构化数据的机器学习分类算法在应用过程中占有重要地位,许多场景都可以转化为分类问题,例如风险预测、疾病诊断以及推荐等场景。随着大数据、云计算等技术的普及,人们管理和收集数据的能力越来越强,数据挖掘领域的数据规模逐渐扩大,这使得分类算法在应用过程中也会存在许多问题,主要可以归纳为两个方面:1)由缺失值和离散特征带来的稀疏数据学习问题;2)低阶和高阶特征交叉信息的学习和表示问题。但是,传统的机器学习分类算法往往并不适合处理大规模高维稀疏数据,且需要人工手动进行特征交叉信息的提取,开发周期长、效率低。深度学习是一个强大的学习范式,允许从大数据中进行大规模任务驱动的特征学习,能够自动组合低阶特征,提取、抽象出高阶特征。本论文以结构化数据分类问题为应用背景,主要研究了基于神经网络架构的分类算法,设计并提出了基于深度因子分解机的分类模型,并应用于风险预测问题上,从而有效解决实际分类场景下的数据稀疏性问题和特征交叉信息的学习和表示问题。论文主要包括以下工作内容:(1)提出了基于深度因子分解机和梯度增强决策树的分类算法模型,能够自动提取多种不同类型的交叉特征:分解机的低阶交叉特征、神经网络的隐式高阶交叉特征,以及基于梯度增强树叶子节点编码的显式高阶交叉特征。这能帮助模型充分学习隐含在数据背后的低阶和高阶交叉信息,提升模型对于非线性分类场景的表征能力。(2)研究了实体嵌入技术对于稀疏数据的学习和表征问题,通过引入嵌入向量的方法,将离散高维稀疏特征映射成为低维空间的连续稠密向量;通过实验验证了使用嵌入向量能够有效降低模型计算的时间开销,并在构建模型的过程中全面引入嵌入向量。(3)研究了模型综合预测性能的影响因素,包括了嵌入向量维度、梯度增强决策树的个数、优化算法等重要因素,确定最优参数集合,为后续的模型应用提供参考和指导。(4)为了降低模型训练的内存开销,本文研究了大数据场景下的特征选择方法,提出基于互信息和最大信息系数法融合的特征选择方法,并通过实验进行验证,结果表明基于过滤法融合的特征选择方法要优于使用单一的特征选择方法。(5)本文将机器学习分类算法应用于用户违约的风险预测问题上,基于传统分类算法和深度神经网络算法,设计不同数据处理方案,构建了不同的风险预测模型。实验表明,利用机器学习算法进行风险预测具有较高的准确率,能够帮助借贷平台有效规避风险。(6)最后,本文结合理论和实验部分,对比分析了八种深度模型的优势和不足,以及它们的时空复杂度。通过对比各项实验指标,结果表明,本模型在复杂度和交叉特征种类上占优势,且引入梯度增强树叶子节点编码确实能够有效提升深度因子分解机的分类性能。