论文部分内容阅读
在本文中,我们探讨了高维度的机器学习问题。本文分析了高维问题所面临的挑战以及这些导致这些问题的原因。为了解决这些问题,机器学习在高维度下的模型和算法需要相应地重新设计。本文介绍了一些已有的工作,例如L0-正则化方法,L1-正则化方法和逐步回归方法。 本文主要工作是基于贪婪逆尺度空间流算法推广得到一种高维机器学习问题的方法—贪婪逆尺度空间流方法。该方法可以被广泛的应用于不同的机器学习模型。特别地,本文将强调该方法应用于线性回归和逻辑回归的情形。贪婪逆尺度空间流方法也适合于传感器不断产生数据或者大规模时间序列的情形,可以快速识别重要的节点或者时间点。 本文给出了一些机器学习的实际问题和模拟问题的算例,用以评价不同的变量选择方法。本文介绍了一些新的用于评价特征选择的尺度。这些尺度更适用于从不同的角度评价特征选择的结果。在这些算例中,贪婪逆尺度空间流方法的表现是符合预期的,特别是在选择效率上,相比于其他方法,贪婪逆尺度空间流方法具有显著的优势。