当今是一个互联网迅速发展的时代,对互联网服务提供商来说,日志数据是一个需要进行挖掘的宝藏库,因为这些日志数据中记录了用户在使用应用时的一些动作规律、个性喜好等用户行为数据以及后台系统的性能状态、响应耗时等服务数据。应用提供商通过挖掘这些数据,能够指导其合理的调整应用的架构、内容,使其能够对用户提供更有针对性的商业服务,提供更好的用户体验,从而在互联网产业的竞争中抓住先机。但是现代的Web日志一般数据都十分巨大,传统的单机处理分析的方式已经很难适应当前的大数据处理的要求。本文主要研究了基于Hadoop及NoSQL技术中的MongoDB进行Web日志挖掘的分析处理技术,其主要研究内容如下:第一,探讨了 Web日志挖掘技术以及云计算的发展以及国内外的研究现状,确定了本文的研究方向;介绍了 Web日志挖掘技术的一些理论基础,分析了 Web日志文件的存放位置、日志类型,以及常用的日志分析中的预处理机制。第二,本文对Hadoop平台架构以及其核心技术进行了深入研究,阐述了其框架结构,MapReduce编程模型以及其对大数据处理的性能优势。同时,本文还对MongoDB进行了详细研究,介绍了 MongoDB的基本内容,分析了非结构化数据库与传统结构化数据库的优劣以及MongoDB对非结构化数据的性能优势。第三,研究分析了 Web日志挖掘中的常用算法Apriori算法,它是Agrawal提出的挖掘产生布尔关联规则所需频繁项集的基本算法,指出Apriori算法本身需要大量扫描数据库,存在一定的I/O瓶颈。针对这一问题,本文提出一种改进的AprioriHM算法,算法输入集合根据频繁项集的不关联或者弱关联划分成若干个子集合,将子集合分发到各个节点。这样,当进行频繁集项的迭代时,不需要再扫描整个数据候选集,只需通过搜索相关子集合,不仅减少了大部分对数据库的扫描,同样更有效率的找到数据集中的频繁集项。在算法的实现上,将算法分布式运行,利用Hadoop框架管理并行处理细节,减少挖掘算法分布式实现的难度,同时提高了算法在实现的时间效率。利用分布式的MongoDB数据库的高效性,减少传统数据库由于同时访问所产生的I/O负载限制,缓解算法的I/O瓶颈。第四,利用Hadoop以及MongoDB搭建了实验环境,使用AprioriHM算法以及原算法进行了对比实验,实验结果表明,AprioriHM算法在处理的数据量比较大的时候明显优于传统的Apriori算法,并且具有良好的可扩充性。