真实性是语言测试的一个重要特征。在语言测试中,研究者通常都提倡尽量选用真实的语言材料,甚至以最大程度地保持材料的原始性为选材标准,认为只有这样才可以从根本上保证测试的真实性。然而,在实际操作中,因为存在着种种问题,结果引起了人们的质疑。我们的研究发现,所谓满足测试材料真实性的要求,其实是选择什么样的测试方法的问题,实际上它直接关心的是测试的效度问题,也就是说,在语言测试中,采用什么样的测试方法能够取得较高的测试效度才是语言测试最关心的问题,在测试中选用真实的语言材料都只是为了取得较高的测试效度而采用的一种测试方法而已。目前的HSK(高等)听力试题材料包含两个不同的部分,它们对真实性的把握标准并不一致,一是采用规范化的材料,二是尽量采用原始材料。然而,对听力材料的真实性采取不同的把握标准后,哪一种测试方式的效度更高,对此尚缺乏实证性的研究。本文针对此问题作了一些相关的研究,提供了一些实证数据。我们的研究结果表明,使用自然语料对语言测试效度的影响对不同的考生子团体而言效果有所不同,但总体来看,无助于提高测试效度。另外,出于语言测试开发成本和减轻考生压力的考虑,建议今后HSK(高等)在改革时应考虑放弃使用自然语料构建听力测验。