随着文本数据的激增,文本分类的高复杂度是一个重要的问题。k近邻(k NN)算法是一个简单、有效,但是计算复杂度很高的分类算法。一般,在使用k NN算法时,使用主成分分析(PCA)进行预处理来减少维数,但是该算法要求投影空间中的所有向量来执行k NN算法。我们提出一个新的混合算法PCA&k NN,使用一个小的邻居集来执行k NN算法,而不是投影空间中的完整的数据向量,从而减少了计算的复杂性。新的文本被投影到较低维的空间,k NN仅使用每个轴的邻居执行,基于更接近原始空间和投影空间且沿着投影成分的主向量。为了验证该方法的有效性,针对Reuters标准数据集进行实验,实验结果显示,新提出的模型显著优于k NN和标准PCA-k NN混合算法,同时保持了相似的分类精确度。