现如今人工智能已经渗透到人们生活的各个角落,很多行业都通过人工智能实现了巨大的发展。人工智能的核心技术是人工神经网络,人工智能的广泛应用离不开神经网络技术的巨大进步。但是,神经网络技术的进一步发展仍然面临很多挑战。目前,人工神经网络应用面临的主要挑战之一就是训练,其实质是一个基于大量数据反复迭代优化的过程。该过程需要极高的计算能力和高效的最优解搜寻方法。本文针对神经网络训练过程中面对的问题,进行了详细的探索与分析,并凭借异构计算平台的强大计算能力,设计并实现了三种并行优化算法。首先,针对神经网络训练时间较长的问题,实现了并行BFGS拟牛顿算法;其次,针对传统的神经网络训练方法易陷入局部收敛的问题,设计并实现了一种多群体PSO并行算法;最后,为了提升神经网络训练过程中的收敛速度,将BFGS拟牛顿算法与PSO算法相结合,实现了BFGS-PSO混合算法。实验结果显示,与传统的基于CPU的串行算法相比,本文设计的并行BFGS拟牛顿算法最高获得了430倍的加速;本文设计的并行PSO算法与基于CPU的多线程PSO算法相比,获得了35倍的加速;在超宽带天线的实验中,与BFGS拟牛顿算法相比,相同迭代次数下,训练误差缩小到了1.52%;并且,将二者结合而成的BFGS-PSO混合算法也展现了较强的收敛性,其收敛速度是BFGS拟牛顿算法的5.5倍,并且在相同训练时间下,三种算法中BFGS-PSO混合算法的训练误差最小,仅为1.12%。