现如今,随着大数据的蓬勃发展,越来越庞大和复杂的数据成为人们不得不面对的问题,其中一个显著的问题就是数据的稀疏性。例如在推荐系统领域,数据主要包括用户和商品（包括其他物品,如视频、音乐、网页等等）,它们的数目动辄数以百万千万计,而且两个用户之间选择的重叠往往非常少,若将一个用户选择一个商品记为1,没有选择则记为0,那么最终产生的数据集将是非常庞大而又稀疏的。还有在一些传统统计分析领域,当数据中的分类变量和分类的类别很多的时候,比如人们的职业、居住地区、兴趣爱好等等,为了充分挖掘特征所包含的信息,我们通常要使用one-hot编码来处理大量的分类变量,而这也会导致非常稀疏的数据的产生,此时若直接使用传统的统计学方法进行学习（如逻辑回归（LR）、支持向量机（SVM）等等）,可能会效果不佳,又或者需要进行大量的特征工程,由人工生成衍生特征来进行模型的训练,这样既耗时又可能无法充分挖掘特征之间的组合信息。随着机器学习和深度学习的发展以及计算能力的提升,许多优秀的算法被提出并用来解决各式各样的数据场景。Factorization Machine（FM）算法即因子分解机便是一个被提出的主要用于解决大规模数据稀疏场景的算法,它本质上是一种对一阶特征进行交叉组合的二阶特征多项式模型。它通过对每个特征学习一个隐向量,然后对两两特征的隐向量相乘得到二阶特征组合项,从而能直接从中学到隐藏的变量间的关系（所有的两两变量之间的关系）,从而相比传统的逻辑回归（LR）和支持向量机（SVM）等模型,它对于稀疏数据具有更强的学习和预估能力,因此被广泛的用于广告等点击率预测（CTR）、推荐系统等多个领域。但加入二阶特征组合后产生的问题就是维度爆增,FM模型本身并未考虑许多特征本身是冗余的,也无法直接对冗余的特征进行选择。因此可以考虑借鉴传统模型中的通过添加惩罚项的方式（如L1正则项等）将无用的变量压缩为0,起到变量选择的目的。经典的变量选择方法主要可以分为单变量选择法（如Lasso,SCAD,MCP等）、组变量选择法（如Group Lasso,Group SCAD,Group MCP等）和双层变量选择法（如Sparse Group Lasso和Composite MCP等）。目前应用在FM算法上的还主要是传统的L1和L2正则项。但是Lasso对每个变量施加同样的惩罚,只能实现单变量的选择而不能进行群组变量的选择,同时Lasso的估计也是有偏的,会导致模型的精度降低。然而考虑到FM的参数系数却具有明显的分组特性,对于同一个特征,它的一阶项的系数和它的隐向量系数应该被视作同一组而不应该全部割裂开来来看待,如果这个特征属于噪音,那么它的一阶项系数和隐向量系数应该都被压缩至0从而移除模型之外,因此可以考虑到组变量选择法。但是当某一特征不属于噪音并不代表它的一阶项和隐向量系数都为非零（譬如一个特征本身与其他特征就没有交互效应那么它的隐向量系数也应该为0）,尤其在数据规模比较庞大时,为了充分挖掘数据的特征往往一开始将因子分解维度k（即隐向量的维度）设置的很大,我们最好对隐向量的系数也做一个参数选择来防止过拟合的产生。因此本文在之前研究的基础上,选择了在bi-level selection中理论效果优于Sparse Group Lasso的双层变量选择方法,即Composite MCP惩罚项与FM算法结合起来,提出了CMCP-FM复合方法,它能对FM的一阶项和隐向量的系数同时进行组间和组内压缩,组间压缩能起到变量选择的作用而组内压缩又能起到优化参数结构提高参数稀疏度的作用,同时又因为CMCP正则项相对于Lasso系列正则项具有渐近无偏的优点,系数的估计更为精确。本文将CMCP正则项与FM算法结合起来,同时将FM视为一种特殊结构的神经网络,借鉴神经网络剪枝的思想,提出了CMCP-FM算法。新的算法过程为:基于CMCP正则项的预训练过程来完成参数的压缩、使用阈值剪枝过程来移除不重要的参数、重训练的过程训练得到最优的参数结构。本文进行了数据的模拟验证,在模拟的稀疏数据集上,CMCP-FM方法的预测和变量选择方面对比另外几个模型表现的都更好。同时还在两个实际稀疏数据集上进行了实验,CMCP-FM方法在特征意义明晰的数据集上可以准确的选出有意义的变量,提高了参数的稀疏度,而且预测效果相比对比方法更为精确,而在特征含义不明晰的推荐系统数据集上,在提高模型的稀疏度和预测精度两方面CMCP-FM也表现的更好。