论文部分内容阅读
在激活函数选为误差函数的条件下,给出了求Fisher信息矩阵逆的算法,并进行仿真验证.首先将自然梯度法应用于多层感知器学习中,并与BP(back-propagation)算法进行了比较,说明了自然梯度法能够加快学习速度,并且可能避免学习中出现平坦区现象,即使出现平坦区,也不会很严重.仿真验证了自然梯度法上述良好的学习性能,并且它渐近的逼近Cramer—Rao下界,从而验证了自然梯度学习是Fisher优效的,而通常的梯度法则不是Fisher优效的.另外,仿真札证实了自然梯度对训练样本中存在的噪声具有很好的鲁