论文部分内容阅读
当今社会,信息技术的进步使数据获取的成本不断降低,海量数据不断涌现,数据的维度也不断增加.一般来说数据的维度越高,计算复杂度会越大,数据中的噪声与冗杂特征产生的负面影响也会越来越严重,并且数据量越多,模型的计算时间也会越长.因此,如何降低数据的维度,提高数据分类准确率和计算效率,已经成为了机器学习领域的重要问题.本文构建了基于随机梯度下降和随机投影的改进Logistic回归模型.模型主要由三个部分构成:第一个部分,从降低数据集维度大小的角度改进,在这部分中,主要对比分析了主成分分析和随机投影两种不同的降维方法,将它们分别和Logistic回归结合进行算例分析,选取计算速度更快的随机投影为降维方法;第二个部分,从降低数据集量大小的角度改进,该部分选取随机投影降维后的数据,分别应用在基于批量梯度下降和随机梯度下降的Logistic回归模型上,选取收敛速度相对更快的随机梯度下降为参数更新方法;第三个部分,在随机梯度下降基础上加入Lasso进一步筛选特征,对前两个部分优化组合,进一步改进Logistic回归模型的准确性.我们选取三个模拟数据集进行仿真实验,在验证改进模型的有效性后,将其应用于实际数据中.改进Logistic回归算法模型可以很好的提升计算效率和准确性,能够广泛应用于各个领域高维数据的分类研究,比如金融和图像等领域.在本文中,由于实际猫狗图像的数据集的维度较高,而且相比金融领域来说,数据更容易获得,因此我们选取猫狗图片为实验对象,并通过对猫狗图像对模型的应用,得到分类模型的准确率达到79.2%,同时在计算效率方面也有显著提升.从以上实验分析,我们从算法的准确性和计算效率可以得出结论:第一、随机投影在维度很高的数据集中,不仅可以保持分类精度还可以大大的降低模型训练时间,能够广泛应用在图像、文本等高维数据集;第二、本文组合优化得到的Logistic回归模型可以在降维基础上,进一步消除无用特征,尤其是对于大规模稀疏型特征,可以使模型预测结果更加准确.第三、本文使用了基于随机梯度下降的优化算法,对于大规模数据集来说,比传统的批量梯度下降方法的运算速度更快.