论文部分内容阅读
封闭集假设是大多数基于机器学习的识别算法所使用的假设,即假设测试集中可能出现的物体类别与训练集中存在的物体类别一致。然而当模型面向现实世界进行应用时,模型显然需要具有识别出训练集中不存在的物体类别并将其标注为“未知”的能力,即开放集识别能力。一种常见的处理“未知”类别的方法是在模型训练阶段额外添加“背景”类别或其他类别,为模型提供一定的识别“未知”类别的能力,但是“背景”类别无法穷尽,当在现实应用中出现“背景”类别未能穷举的未知类别时,模型的行为仍然无法预测。模型行为无法预测非常危险,如自动驾驶中出现的未知行为可能导致交通事故的发生,危害人们的财产及生命安全。虽然风险可以通过在训练阶段使用数以万亿字节的数据训练的方式降低,但数以万亿字节的数据仍无法预测并穷尽所有可能的输入,对于这样一个安全性至关重要的系统来说,即使是未知输入上的一小部分错误也可能是致命的,因此一个充分鲁棒的系统必须具有处理未知的输入或未知的类别的能力,从而使系统可以忽略或拒绝未知的输入或未知的类别,即系统应具有开放集识别能力。本论文针对上述开放集识别问题,主要完成了以下三个方面的工作:1.发现并证明了紧致递减概率模型（CAP）不适合直接应用于以卷积神经网络的logits层作为特征提取器的开放集识别算法,并提出了两种消除不适应性的思路。目前,以OpenMax算法为代表的大多数以卷积神经网络的logits层作为特征提取器的开放集识别算法均采用了紧致递减概率模型（CAP）作为其算法构建的基础。CAP模型假定空间中任意测试样本被判定为已知类别的概率随着测试样本与已知样本的距离的增加而减小。这在传统的基于机器学习的开放集识别算法中是可行的,因为算法采用的特征空间通常不具有方向性。然而,卷积神经网络的logits层,作为卷积神经网络的输出层,其所在的特征空间具有强烈的方向性,即样本沿某一方向移动的距离越远则样本被判定为某一类的概率更高。因此,CAP模型不适用于以卷积神经网络的logits层作为特征提取器的开放集识别算法。可以通过两种解决思路消除不适应性:（1）对logits层所在的空间做空间变换,使CAP模型生成的边界可以包含最大分量远大于其他分量的样本。（2）在logits层所在的空间中找到一个理想的高维曲面,恰当地把已知空间K和未知空间O划分开。2.基于思路（1）,提出了 OpenSoftMax算法。通过对卷积神经网络的logits层所在的空间做SoftMax变换,使得转换后的空间生成边界。转换后空间中方向性仍然存在,但样本可能出现的位置出现了上限,从而减轻了 CAP模型应用的不适应性。与OpenMax算法相比,OpenSoftMax算法在各不同开放度的数据集上的平均最优准确率提升为15.55%,平均最优F1分数的提升为28.35%。OpenSoftMax方法具有性能强且简单易于实现的优点,但是由于其最优值附近的梯度过于陡峭,OpenSoftMax方法的最优值难以逼近。3.为了探索最优值易于逼近的方法,基于思路（2）,提出了边界半封闭的OpenMax 算法（OpenMax with Partial Enclosed Boundrary,OPEB）。由于基于深度神经网络的开放集识别算法采用了 CAP模型,其在特征空间中生成的边界应为圆形、球面或超球面。然而,在一个具有方向性的空间内,合理的分界面应该是半封闭的曲线、曲面或超曲面。OPEB算法给出了拟合此理想分界面的方法。实验可得,OPEB方法其最优值附近梯度较缓,最优值相对易于逼近,与OpenMax算法相比,OPEB算法在各不同开放度的数据集上的平均最优准确率的提升为13.17%,平均最优F1分数的提升为25.7%,在和OpenSoftMax方法的比较中,以最优准确率即最优F1分数为评价标准,OpenSoftMax在开放度较低的数据集中展现出了更好的性能,而OPEB方法在开放度相对较高的数据集中展现出了更好的性能,在不同的应用场景下两者性能互有优劣。