论文部分内容阅读
当一个较大的神经网络在较少的训练数据上训练时,不可避免的会遭遇过拟合问题,进而在测试数据集上泛化性能较差。因此,提出了多种基于Dropout的正则化方法来缓解这个问题。虽然,这些方法不能直接促使模型关注有较低判别力的特征,但对减少过拟合同样非常重要。为解决该问题,提出了一种基于注意力引导的Dropout (AD),利用自监督机制更高效地缓解特征描述算子之间的协同自适应问题。AD包含2个独特的组件:①特征的重要性度量机制,通过SE-Block度量得到每个特征的重要程度;②基于可学习丢弃概率的Dropo