近似计算技术通过牺牲计算精度的方式获得系统整体性能和能效上的提升,在机器学习,计算机视觉,信号处理等可以容忍误差的领域有广泛的应用。神经网络在理论上可以拟合各种复杂函数关系,且结构统一,适合并行计算,因此基于神经网络实现近似计算加速器在学术界获得了广泛的关注。另外,为了控制近似计算结果的误差满足用户需求,已有的工作额外引入了另一个基于神经网络的分类器来对输入数据进行误差控制,只有被认为适合近似计算的数据会发送到加速器神经网络执行近似计算,否则会执行准确计算的程序。然而,已有工作的训练算法无法充分挖掘分类器神经网络和加速器神经网络的近似计算潜力,因此本文首先提出一种基于协同训练的神经网络训练算法,交替训练加速器神经网络和分类器神经网络,使得两个神经网络在输入空间上保持一致性,实现系统整体近似计算误差的降低。然后,我们探索了不同的训练数据选择策略,以提高加速器神经网络的调用率,并在理论上证明了我们算法的有效性。接下来,我们在协同训练算法的基础上,提出了改进的多分类训练算法,通过引入多个加速器神经网络,训练那些在上一轮训练过程中被遗弃的训练数据,实现最大化近似计算系统的加速比。试验结果表明,我们的算法与已有工作相比,在近似计算结果精度和能效上都能获得有效的提升。