随着我国智慧法院的建设和司法透明化逐步落实,大量的裁判文书被公开,但由于全国各地司法系统的不同、案件文书类型的多样性、审判流程的复杂性以及人为的一些失误,导致裁判文书的格式和内容的质量良莠不齐。海量的司法裁判文书不仅提供了案件审判的关键信息,更是司法认知智能研究的数据基础。目前,司法研究领域已经积累了大量的模型算法,但实际落地使用的算法比例很小,主要是因为未能对其进行充分有效的评估。并且,模型的效果很大程度上取决于数据质量。由于需要大量的数据,即使训练数据中的相对较小的误差也会导致系统输出中的大规模误差。面向数据质量对模型进行评估,能够根据数据质量情况,选择更合适的模型,来提高模型训练的表现和未来做司法判决的准确性。本文对背景和现状、系统需求等方面进行了全面分析后,基于Django框架设计并实现了面向司法数据质量的模型评估系统,系统主要分为数据交互、文书解析、质量检测和模型评估模块。通过该系统,用户可以选择或上传待评估的模型,并选择或上传裁判文书数据集,进行司法智能分类预测任务,并计算模型评价指标。系统从准确度、区分度和稳定度角度出发,采用的模型评价指标为Accuracy,F1-score,KS值和PSI。对于上传完成的裁判文书,系统将自动对其进行字段解析、标签分类和特征提取,生成质量检测报告,质量属性包括可解释性、相关性、准确性和一致性。用户可以选择配置随机打乱、随机删除和随机插入等文本变异方法,在保持原数据集规模的情况下,生成多组新的案情描述文本,对其质量属性进行重新度量,并对新文本重新进行文本解析和计算执行司法分类任务模型的评价指标。系统能够根据数据集情况生成具体司法分类任务情况下质量属性值与模型评估指标之间的可解释的相关性可视化图表。系统从可解释性角度出发,以机器学习模型KNN,SVM和Naive Bayes为评估对象进行测试,以来自中国裁判文书网的2万交通类民事一审裁判文书为数据集进行了引用法条预测和判决金额预测的实验,实验结果表明在该数据集情况下,Naive Bayes模型对数据的准确性较为敏感,SVM模型对可解释性较为敏感,而KNN模型对裁判文书的质量属性不敏感。因此,当司法裁判文书质量不能保证时,采用KNN模型进行判决金额和引用法条预测较好;当裁判文书可解释性较高时,建议采用SVM模型;而Naive Bayes尽管对准确性敏感,但分类结果不佳。本文提出的面向司法数据质量的模型评估系统具有上传、管理、配置等功能,便于用户使用,能够有效地评估司法裁判文书数据集的质量,更全面地评估执行司法分类任务的模型,对不同裁判文书质量条件下的模型选择给出合理建议,有利于提高司法裁判预测任务的准确性。