论文部分内容阅读
随着通信技术的发展和互联网的快速普及,各行业中的电子化数据越来越多,数据收集也越发简单,我们迎来了大数据时代。大数据的发展亦推动了消费形式的多样性发展,但是大数据在为人们创造巨大使用价值的同时,也给以淘宝网为代表的各大电商企业带来了一些新的挑战。随着数据规模的迅速扩张,传统的离线算法无法实现一次性收集全部的信息,将会耗费大量的时间和空间。在线学习技术则可以很好的解决这一问题,成为大数据集的数据挖掘领域的研究热点。本文主要研究面向大数据的在线RBF的学习算法及其应用。论文的主要工作有以下三个内容:(1)在对径向基函数研究的基础上,采用高斯函数作为核函数,利用数学中的分块矩阵定理对径向基函数进行处理,从在线处理大数据的角度思考,利用增量学习算法原理推导出径向基函数(RBF)增量学习算法模型,为大数据的增量算法提供一种新思路,并利用实际算例加以检验。实验表明,相对于传统的一次性建模的方法,本文提出的增量式RBF算法能在保证不影响建模精度的前提下明显地缩短处理大数据的时间。(2)在本文研究的RBF增量式学习算法的研究基础上进行改进,利用固定滑动窗口原理,通过利用数学中的分块矩阵定理对径向基函数进行处理,从在线处理大数据的角度思考,利用在线学习算法原理推导出径向基函数(RBF)的窗口式在线学习算法模型,为流式大数据的在线算法提供一种新思路,并利用实际算例加以检验。实验表明,相对于传统的一次性建模的方法,在线RBF算法在预测精度良好的基础上可以很好地处理流式动态数据。(3)本文研究的增量RBF模型及窗口式在线RBF模型都具有较好的泛化性能,为了进一步研究这两种学习算法的实用性,以淘宝网的“淘宝眼镜销量”作为实例,将前文提出的增量式RBF学习算法以及在线式RBF学习算法模型应用到淘宝网的眼镜销量的预测中,实验结果证明,基于径向基函数的在线RBF学习算法模型可为淘宝网眼镜销量预测提供参考依据。本文提出的面向大数据的基于径向基函数的增量学习算法降低了处理大数据的复杂性,提高了大数据处理的运算效率,对算法的泛化性能也有所提高,将复杂的大数据学习过程简单化。在增量RBF模型的基础上改进的窗口式在线RBF学习算法,成功实现了对流式动态大数据有效处理。两种算法在电子商务领域的应用也得到了一定的验证,为电商企业的精准营销以及科学管理提供了有效的理论依据,该算法具有一定的社会实用价值。