论文部分内容阅读
众所周知自然语言处理和情感分析是机器学习中非常重要的一个环节。而这两个环节都需要大量的数据作为分析的基础。但目前大部分的数据都是直接从网上获取的,质量参差不齐,于是就需要对这些数据进行标注和处理,才能在科研中使用。不过从网上获取的数据量非常庞大,如果光靠科研人员来对数据进行标注,那么工作量就非常之大。然而近年来随着互联网的进一步发展,几乎每一个人每天或多或少都会上网浏览各种网站信息。而且,由于每个人兴趣爱好的不同那么他们所擅长的领域必然也有相应的区别。如果能充分利用每个人的知识,来对互联网上大量的数据进行标注和点评,以众包的形式进行工作。那么就能够使得研究人员更方便的获取有价值的语料信息,更方便科研人员进行语料分析和开展机器学习的研究。该项目就是基于这个需求开展的,提供了一个让用户进行信息浏览,标注,点评的平台。同时,在用户标注和评论信息的时候,也通过数据挖掘和机器学习的算法来实现根据用户的不同个性为他们推荐不同的数据,这样就方便了用户标注和评论。本文在阅读和详细了解了众包的相关资料和国内外使用的情况下,提出了使用众包这种商业模式来解决机器学习中大量语料需要标注的难题。根据系统的需求和网站开发的相关要求并且结合Web开发的相关技术提出了面向本平台的解决方案。此系统采用J2ee作为开发技术,选用Mysql作为后台数据库,Tomcat作为服务器,同时利用最新的Bootstrap和Ajax技术来实现页面的开发和相关可视化特效,使该系统更加美观易用。通过对系统的需求进行分析和设计,本人独立完成了这个系统的整个开发过程,以及相关文档的编写和测试的工作。目前该系统已经完成了测试,所有测试结果都符合要求,已经可以投入使用。