信息检索评价指标主要有有效性和稳定性指标。目前,这些稳定性指标和有效性指标大多数都是分开定义的。研究者们发现系统平均有效性性能的上升通常以牺牲系统的稳定性为代价,即系统的有效性和稳定性之间存在着有效性-稳定性权衡。然而,系统的有效性-稳定性权衡还没有被系统地研究。传统的信息检索评价基于固定的文档集,此时信息检索系统的有效性和稳定性基于一组信息需求。当文档集是来自一个更大文档集的样本时,系统的有效性和稳定性及文档集作为样本的影响还没有得到充分地研究。此外,显著性检验和偏差-方差评价体系之间的关系在本文中得到了探究。本文基于均方误差的偏差-方差分解理论提出了信息检索系统的偏差-方差评价体系。该评价体系不仅能够分别评价系统的稳定性和有效性,还能够评价系统的整体性能(有效性和稳定性)。系统稳定性和有效性之间的关系也在该评价体系下得到有效研究。在Ad-hoc和Web任务上的实验结果表明,系统的有效性和稳定性之间存在着权衡。在Ad-hoc上的实验表明per-topic方差对基于排序的系统比较没有明显的影响,但基于显著性检验的系统比较易受per-topic方差的影响。在Session任务上的实验结果表明查询修改和增加用户数据能够同时提升系统的有效性和稳定性。