随着互联网的飞速发展,网络购物已经成为主流,但是带来足不出户便利的同时也带来了很多问题,比如如何买到物有所值的商品、如何买到高评价的商品。通常用户使用商品的评分系统来判断商品的优劣,但是由于“网络水军”行业的兴起,用户很难从中发现有用的信息,无法准确的对商品优劣进行判断,同时由于每个人对于商品的评分标准不尽相同,这就容易造成较大的误差,进而影响用户的判断。所以可以根据商品评论进行分析,优化用户的购买决策。同时对于卖家而言,可以通过商品评论分析,优化卖家的卖出策略。但是对于某个评论数非常多的商品,人工分析费时费力。目前,通常使用监督学习来进行文本情感分析,但是监督学习需要大量标记的数据。在各大互联网企业的评论情感分析应用中,人工标记成本过高,所以需要结合相对成本较低的未标记数据进行情感分析。因此,本文针对商品评论情感分析,使用大量无标签和少量带标签的数据集,训练出最优模型并应用到商品评论分析系统中。本文的主要研究内容包括如下:1.本次研究采用的是RPA技术进行数据的获取,相比传统数据爬取方式更加简单、安全、高效,本次实验数据均来源于淘宝商城,使得作为研究的数据更加真实。目前商品评论中存在大量的口语和网络用语,结巴分词不能很好的进行识别。本文在淘宝商城评论数据基础上,使用新词发现算法进行新词发现,同时与搜狗细胞词库中的阿里巴巴产品词汇-服饰鞋帽词汇表一起加入结巴自定义词库中,最后使用自定义词库进行分词,使分词结果更加准确。2.商品评论分析系统的核心是算法模块,本文通过对半监督学习方法的学习研究,选择了半监督学习中的自训练方法,并实现了多种不同的基分类器自训练算法,同时使用多样性与高置性度估计方法对未标记样本数据预测后的伪标记数据进行进一步的过滤,实验结果显示多样性与高置性度估计方法提升了模型的准确率,将传统增量自训练算法同多样性与高置性度估计自训练算法进行综合比较,最终选择多样性与高置性度估计自训练算法作为商品评论分析系统的算法。3.本文构建了一个完整的商品评论分析系统,该系统可以分为两个模块,管理员功能模块和用户功能模块。管理功能模块主要功能是对用户信息和机器学习模型信息进行管理,用户功能模块主要功能有注册、登录、商品评论分析,其中商品评论分析需要提交一份评论数据,系统会返回分析的结果供用户做参考,以优化用户的买卖决策。