论文部分内容阅读
该文使用Hessian和嵌入子空间方法研究了批方式训练的外监督前馈网络的全局最小条件。证明网络获得代价全局最小解的充要条件是,外监督信号矩阵Y构成的列空间必须位于模式样本在隐层张开的矩阵X的列空间内;网络获得零代价全局最小解的充分条件是M≥N。进一步推知,若C≤M≤N,则网络有可能获得零代价的全局最小解;若M<C≤N,则无论如何训练网络,网络也将不会收敛到零代价的全局最小解。