自然语言处理的很多问题都可以归结为分类问题，机器学习是解决分类问题的重要途径。本文以自然语言处理的两种典型问题——词义消歧和动态情感词分析为例，研究了机器学习方法在处理分类问题时几个重要因素的影响：分类模型、语料和特征选择。　　 本文比较了几种常见的分类模型：朴素贝叶斯(NBM)、最大熵模型(MEM)和支持向量机(SVM)；为了缓解有限带标语料对模型训练的影响，本文研究了包括Bootstrapping、EM和TSVM在内的几种半指导机器学习方法，引入未标数据共同训练模型，并结合实验比较了这些半指导分类方法的效果；针对特征问题，本文设计并实现了一种基于贪心思想的特征选择方法，并根据具体问题改进了该算法使之适应具体的应用场景。　　 本文选取了三份实验语料，对三种有指导的机器学习模型、半指导方法和特征选择方法进行了实验。着重考察和分析了半指导方法，特征选择方法以及这两类方法相结合后，对于有指导的基础机器学习模型性能的改进。