近年来,随着以深度学习为代表的机器学习技术在学术界和工业界的不断发展与进步,研究人员训练出来的模型已经能够在多个领域能够该领域的专家,如图像识别、围棋、语音识别等。但是深度学习这类需要大量高质量有标签数据支持的技术,往往在一些数据量少或标注成本昂贵的任务上无法取得较好的预期效果,比如医疗诊断或者小语种机器翻译任务等。在这些任务中,由于训练时所收集到的数据和现实环境数据在分布上存在较大的偏差,导致训练出来的模型对于一些样本识别错误非常严重——识别错误的同时给予了这次识别非常高的置信度。这类被严重预测错误的样本被称作为模型的未知错误(Unknown Unknowns),这类错误对高风险任务(如医疗诊断)会造成灾难性后果。因此,对模型的未知错误进行识别和分析是非常必要的。由于未知错误是模型无法感知到的一类错误,因此现有的识别算法都依赖于第三方人工标注系统Oracle,即利用人工做最后的标注工作。而现有已提出的算法都是假设Oracle返回的标签是百分之百正确的,这在实际应用中并不现实。尤其是当识别算法基于众包(Crowdsourcing)等常规标注系统时,Oracle返回的标注结果往往带有一定的噪音,即有可能返回错误的标注结果。这些错误标注会导致识别算法将模型预测正确的样本认做是未知错误,这些伪未知错误的存在会对识别算法产生巨大的影响,包括降低最终识别出来的未知错误质量以及对识别过程造成误导。为此,本文将基于噪音Oracle对模型的未知错误进行识别和分析,试图在有限的预算下提高模型未知错误的识别率和准确率。归纳而言,本文的贡献有以下几点:1)本文指出和分析了传统识别模型未知错误算法在噪音Oracle下的局限性,这些局限性包括:识别出来的未知错误质量低以及算法在识别过程中容易受错误标注影响。并对已有效用函数进行扩展,提出了一种适用于噪音Oracle下识别未知错误的新效用函数。2)本文提出了两种高效的识别未知错误算法,包括基于动态最近邻算法和基于标签传播算法。实验验证了我们提出的两种算法在识别未知错误的有效性和在噪音Oracle下的抗噪性都优于已有的算法。此外,本文还设计并实现了一套模型未知错误自动化识别系统,能够在未标注数据中结合研究人员的自我标注快速找到大量有价值数据,方便理解模型的缺陷和后续模型的改善。