近来伴随互联网信息技术和产业链迅猛发展,各行业数据规模均呈现指数级增长,尤其以电商和社交网络为服务内容的企业数据中心。尽管数据量规模巨大,方便基本事务都有迹可循,但数据结构混乱,大规模数据没有合理得被分门归类,导致隐含的价值无法被提取,因而容易陷入面对茫茫数据而无计可施的困境。怎么从庞大文本数据集中获取有价值的信息,已经成为研究人员探索的热点。以机器学习、数据挖掘和自然语言处理为基础的文本分类可以把不规则的数据根据给定的算法分门归类,其作为核心技术,能够从海量文本数据集中获取所需信息。经分析调研,文本分类不同的阶段对最终文本分类的效果有着不同程度的影响,尤其是特征选择环节更是起着决定性的作用,同时特征选择也能够有效一定程度上解决高维稀疏引发的高计算复杂度和低分类精度问题。所以,本文以特征选择展开研究,针对经典文本特征选择算法没有对类内文档特征词频度、类间集中度、类内分散度的综合衡量,提出了基于卡方统计(CHI)和互信息(MI)的改进型组合特征选择算法CHMI,并在公开中文语料库上和经典文本特征选择算法做了对比,验证了CHMI较经典算法在分类效果上有所提高。虽然本文提出的CHMI算法在文本分类效果上较经典特征选择算法具有一定的优势,但是面对庞大的数据集,该算法还是无法解决自身算法复杂度高而引发的时间消耗和空间消耗大的问题。因此本文将CHMI算法和Hadoop云平台下的MapReduce模型相结合,提出了基于云平台的文本特征选择算法MRCHMI,实验验证了该算法在不影响分类效果的前提下,较单机环境特征选择执行时间有效提升。