近年来深度神经网络不论是在数据处理还是应用层面都取得了前所未有的成功,然而由于其网络结构的复杂性,往往需要大量的训练时间,以随机向量函数链接神经网络为基础发展而来的宽度学习系统致力于解决这一问题。宽度学习系统作为一种新兴的高效的扁平式神经网络,可以在保证准确性的前提下极大的缩短神经网络的训练时间;凭借网络结构简单、可快速训练和模型更新速度快的优势,宽度学习系统已经逐渐应用到各个领域（比如:人脸识别、工业过程建模等）。即使宽度学习系统已经取得了斐然的成绩,但是仍有一些难点和挑战限制了其在实际任务中的进一步应用。首先,在训练过程中,宽度学习系统的节点和节点之间、参数和参数之间无法保证是线性独立的,这样节点和参数往往就会出现冗余,增加了模型的复杂性;其次,当输入具有大量样本的数据或者高维数据的时候使用伪逆算法会对计算设备的内存提出较高的要求,虽然可以通过做样本输入的增量学习算法来完成训练,但是模型在每次更新后会积累微小的计算误差。本文致力于研究并解决这些问题,具体工作如下:（1）针对宽度学习系统存在的参数和节点的冗余问题,提出了基于L0正则化的可控稀疏性宽度学习系统。一方面,该方法通过去除不重要的参数和节点来获得一个稀疏的模型;另一方面,模型的稀疏性可以在给定的资源下得到控制。具体来说,该方法利用0L正则化代替宽度学习系统目标函数中的2L正则化,通过将L0正则化问题表述为一个受输出权重数量约束的优化问题,以控制给定资源下模型的大小,然后在训练中评估并减少模型的节点和参数,最后在各种回归数据集上验证了该方法的有效性。（2）针对宽度学习系统在面对大量输入数据的时候对计算设备的内存需求高的问题,提出了基于移位量化技术的轻量级宽度学习系统,以尽量减少模型训练和在线应用时的内存需求,使宽度学习系统能够在资源有限的设备上实时运行。此外,为了减少参数量化造成的精度损失,本文结合移位量化技术和参数分组训练的思想提出了一个最小化轻量级宽度学习系统精度损失的训练方法。具体来说,首先,为了找到每个权重的最佳位宽,权重的位宽是在训练过程中从位宽集合中自动选择的,无需人工干预;其次,为了减少或避免随机权重量化带来的精度损失,通过网络搜索得到一个随机权重量化的最优模型;然后,为了使输出权重量化造成的精度损失最小化,再对输出权重进行分组,使一部分贡献度大的输出权重被量化,而另一部分则通过反向传播重新训练,直到所有输出权重都被量化。最后,在各种分类和回归数据集上验证了该方法的有效性。（3）在上述研究成果之上,本文考虑到联合正则化和量化技术既可以解决宽度学习系统存在的参数和节点冗余问题,又可以解决宽度学习系统在面对大量输入数据时对设备内存要求过高的问题,因此提出了一种基于稀疏和量化技术的宽度学习系统压缩方法,将稀疏和量化技术融合到一个算法框架中,旨在得到一个更紧凑占用内存更小的宽度学习系统模型。具体来说,该方法的建模过程分为两个阶段,第一阶段,首先直接构建随机权量化的模型,然后设定输出权重的位宽;第二阶段,将整体模型大小作为条件来约束输出权值的稀疏度,然后经过ADMM等算法优化求解得到稀疏后的输出权值。最后在各种回归数据集上验证了该方法的效果。