模型压缩与优化是当下深度学习领域的研究热点之一,致力于解决深度神经网络（Deep Neural Network,DNN）模型过度冗余,参数过大导致的运算量或存储要求过高的问题。当前主流的基于低秩与稀疏分解的网络压缩方法没有整体考虑权重的这两种特性,忽略了它们之间的关联。其次,模型压缩涉及的超参数,如秩、稀疏度等的搜索空间极大,高度依赖领域专家经验进行选择。此外,在稀疏网络的学习中,网络连接结构与模型参数作为保证压缩性能的关键,往往难以得到较理想的设置与训练。大量试错过程不仅浪费人力成本,也会造成严重的计算负担,且最后只能找到单一的所谓“最优解”,无法满足用户对不同场景下模型压缩效果的需求。因此可见,在DNN模型压缩学习与优化方面,仍有较多亟待解决的问题。准确捕获权重的结构特征,设计合理并高效的压缩学习算法,是一个富有挑战性的科学难题。本论文深入分析网络权重的低秩与稀疏特性,提出新型的压缩结构,并基于进化多目标优化（Evolutionary Multi-objective Optimization,EMO）的思想,解决该类DNN模型压缩所涉及的超参数难调,搜索难度高等难题。同时也基于该思路,对稀疏神经网络连接结构与参数训练过程进行优化。主要工作分以下几个方面:1)巧妙结合神经网络权重的低秩与稀疏特性,提出一个联合分解的压缩结构。在矩阵低秩分解之后,对低秩矩阵嵌入稀疏化操作,同时加上全局的稀疏矩阵作为性能补偿,实现网络的深度压缩。该方案采取端到端的一步分解与重训练操作,不增加额外的迭代优化,实验证明该压缩结构在一些经典网络模型上能取得不错的效果。2)将1)中的压缩学习问题构建为以压缩率和模型分类错误率为目标的多目标优化问题（Multi-objective Optimization Problem,MOP）,设计高效的多目标进化算法（Multi-Objective Evolutionary algorithm,MOEA）,求解该DNN模型压缩学习问题。算法构造了快速的子代压缩模型生成方法,并针对模型进化过程中复杂的子代评估过程,采取重训练前的测试结果作为代理适应度,结合非支配排序和基于?1范数的距离度量准则做候选模型的早期筛选,节省大量子代生成与评估时间。该模型可以搜索出每层网络合适的秩与稀疏度,并最终得到分布均匀的帕累托最优（Pareto Optimal）压缩模型集合,满足用户在不同条件下对压缩效果的要求。3)针对稀疏连接神经网络,提出了一种基于梯度与进化算法的多目标联合稀疏网络训练方法,通过模型早期训练阶段挖掘出稀疏特性,并设计分别用于网络稀疏结构搜索与参数调整的多目标进化算法,网络整体训练采用梯度更新与进化算法交替优化方式,最终实现更优的稀疏网络模型。