图像信号在传输、压缩、存储过程中受物理因素或人为影响容易产生失真。过去一般认为人类是图像的最终接收端，这些图像失真对人眼视觉系统的影响程度一般通过图像质量评价(Image Quality Assessment)方法进行评估。随着深度学习技术发展，机器开始展现出强大的图像理解与分析能力，一些语义相关分析任务上有望代替或辅助人类的工作，未来也可能参与对图像质量的接收与评估。在此情况下，图像失真会影响图像对于语义相关分析任务的可用性，这种影响被称为为语义失真(Semantic Distortion)。然而，传统图像质量评价限于评估信号与原信号的相似性（即信号保真度）或人类的主观体验（即感知自然度），不能很好地满足对于语义失真的评估需求。此外，传统图像质量评价未考虑机器的感知特性，也不适用于未来人机协同工作的场景。因此，人类及机器对于语义失真的感知是一个重要的研究课题。
　　本文在两个层面上进行语义失真感知分析:整体层面上，基于数据集所有样本的平均识别准确率进行识别能力分析，过去的研究大多集中于此;样本层面上，基于单个样本的置信度进行识别能力分析，过去的研究涉及较少。本文在此基础上分别对人类和机器进行分析，全文研究工作总结如下:
　　(1)基于监控失真场景提出了一个用于语义失真度量的主观数据集，在该数据集上对比分析了人类和机器对语义失真的感知差异。监控场景下背景保持相对不变，因此一般认为语义信息集中于前景的语义目标中。基于该假设，本文选取三类常见的语义目标（人脸、行人、车牌）和失真类型(JPEG压缩、运动模糊、BPG压缩)构建数据集，用人类对各类语义目标的平均识别准确率代表对语义失真的感知。实验结果表明，机器相比人类的优点是鲁棒性较强，缺点是泛化性和稳定性较弱。现有研究发现机器对于局部细节特征的识别能力比人类更强，故机器鲁棒性较强的一种可能原因是本文中语义目标的识别更依赖于局部细节特征。
　　(2)通过置信度分别度量了人类或机器对于单个样本的识别能力，以在样本层面上分析两者对语义失真的感知。对于人类而言，置信度指人类被试中对特定样本识别正确的个体所占比例。本文在上述主观数据集上训练用于人类置信度预测的模型，并采用图像客观评价方法性能指标SROCC和PLCC系数测试其性能。实验结果表明该模型性能优于传统质量评价指标，更适用于语义失真方面的度量。对于机器而言，置信度指模型对于特定样本预测正确的可能性，反之称为不确定性。现有的不确定性预测方法大多存在实现复杂度高、实用性差的缺点。本文提出了一种复杂度较低的基于梯度的不确定性预测方法，结合sample-specific损失函数和梯度传播策略优化，在out-of-distribution检测任务上达到了与state-of-the-art方法相近甚至更优的性能。
　　(3)将上述内容应用于实际场景中的人机共同决策，设计了一种新的决策框架，基于人类和机器的置信度进行决策工作流的控制。实验结果表明，相比于现有的拒绝学习框架，该框架能以相对更低的人工判决比例达到相对更高的判别准确率，在性能和人工成本之间实现更好的平衡。该工作也说明了语义失真感知研究对于人工智能实际应用的具体意义。