近年来,深度神经网络在视觉和音频的分类任务上取得了巨大成功,引起深度学习技术的再度崛起。尽管深度神经网络性能强劲,但它仍存在一些瓶颈,例如需要大量的训练样本、性能依赖调参、结构需要预设置、理论分析困难、对硬件配置要求高。从数据获取的角度来看,即使在大数据时代,收集完全标记的样本也是非常昂贵和耗时的,甚至需要领域专家对样本进行人工标注。鉴于深度学习技术的强大优势,克服深度神经网络的上述缺陷,探索非神经网络的深度学习技术在中小型数据集上的应用是很有意义的。2017年,深度森林被提出作为深度神经网络的可替代品。该模型是一个多层的级联结构,每一层是一组独立森林（单元）的集成。和深度神经网络相比,深度森林的超参数很少、适用于中小型的数据集、模型的复杂度可以自适应确定、算法的可解释性更强。深度森林和深度神经网络在性能上具有很高的可比性,并且训练时间远少于后者。深度森林不仅是一个分类算法,也可以被视为一个深度学习框架,通过赋予其单元不同的功能,把它应用在不同的分类场景上。本文以深度森林为研究对象,从算法优化和应用的角度出发,提出了四种改进模型,分别是基于集成剪枝优化的深度森林、应用于样本不平衡问题的深度森林、应用于偏标签问题的深度森林、应用于联合用药预测的深度森林。主要的研究工作概括如下:（1）深度森林的每一层是大量决策树集成的集成,其中性能不好的决策树会给模型的预测带来负面影响、性能相似的决策树会给模型带来冗余。为了解决这个问题,本研究提出一个基于特征向量化和量子游走的集成剪枝方法用于优化深度森林的单元,最终实现了一个模型精简、性能提升的改进版深度森林。（2）在不平衡学习中,用倾斜数据训练深度神经网络会造成两个明显的缺陷,一是分类结果倾向多数类,二是样本不足的时候容易造成过拟合,尤其是在少数类样本稀少的情况下更不利于建模。本研究为深度森林设计了一个全新的单元,通过把合成上采样技术融入到提升算法的迭代过程,更加关注处于分类边界的少数类样本,进而提高整体模型对少数类的识别能力。（3）偏标签学习是半监督学习的一个分支,一个偏标签样本对应多个候选标签,其中只有一个是真实标签。偏标签学习的任务就是从这种训练数据中学习一个分类器,从而对未知样本的类别进行精准预测。由于分类器在学习过程中不能直接获得训练样本的真实标签,进一步加大了分类的难度。本研究使用一个改良的纠错输出编码算法作为深度森林的单元,把一个半监督学习问题转化为多个监督学习问题的组合;同时设计了一种具有不确定性的模型评估方法用于满足半监督学习情况下深度森林级联的增长;最后把改良的单元嵌入重构后的级联框架,实现了一个改进的深度森林处理偏标签样本的分类问题。（4）联合用药疗法被广泛地应用在癌症治疗中,多种药物结合使用可以同时靶向癌细胞中的多个分子或多种疾病,有效地降低肿瘤对单一药物的耐药性。然而,为特定病症筛选所有可能的药物组合是不切实际的,因为随着药物数量的增加,将导致需要搜索的药物组合数量发生指数级激增。针对联合用药样本维度高、特征冗余度大、数据不平衡等特点,本研究设计了一种基于数据复杂度降维的极限树森林和一种基于重采样的随机森林作为深度森林的单元。所提的模型可以很好地解决联合用药预测的分类难点。上述四个模型都是基于深度森林算法的改进,在各自的应用领域中,对比当前最先进的算法,在性能上均有较大提升,模型的可解释性也更加直观,对探索非神经网络的深度学习技术具有一定的指导意义。