神经网络在人工智能领域取得了巨大的成功,并且被应用于语音识别,图像识别和自然语言处理等领域。其中,神经网络的性能好坏是由其参数和结构决定的,本文针对以上两个方面展开研究:神经网络的参数搜索和神经网络的结构搜索。首先,反向传播是人工神经网络中应用最广泛的参数搜索技术之一,并且在多种深度学习方法中都得到了广泛应用。然而,采用反向传播技术的神经网络依赖于梯度下降策略,容易陷入局部最优。其次,卷积神经网络（CNNs）的架构大多是通过人为手工进行调节设计,这样就要求设计者需要丰富的专家知识,并且已有架构搜索方法不能很好保留搜索过程中的经验,除此以外,完整评估每一个搜索到的架构十分消耗资源,并且最终搜索到的模型的尺寸也是影响到算法实用性的一大关键问题。针对以上几个问题,本文开展以下研究:（1）针对反向传播算法易陷入局部最优的问题,并且其效果极大的受到梯度下降策略中超参数选择的影响,本文提出一种基于种群的自适应梯度下降搜索算法来搜索神经网络的参数。该算法自动设计不同阶段的学习率来匹配不同的搜索阶段并将其分别加入策略池,无需人为调参优化效果,并且提出的算法还结合了演化计算的种群优势,增加算法在巨大搜索空间中的勘探能力,从而使算法有更好的全局搜索能力避免陷入局部最优。（2）针对已有架构搜索过程中搜索策略单一以及演化信息丢失的问题,本文提出一种基于块的自适应的变异策略的遗传算法来进行神经网络架构搜索,提出了三种架构变异算子,并使用自适应机制根据初期经验指导后续演化,丰富搜索过程中的种群多样性的同时,加大搜索到最终新型架构的概率。（3）针对搜索过程中每次个体评估时间过长的问题,本文压缩了搜索空间,并提出一种渐进式切割块的方式,在保证精度的前提下,减少参数量,压缩模型大小,从而加快评估速度和减少计算资源的消耗。