论文部分内容阅读
互联网+的大环境下,电子商务迅猛发展,在线购物逐渐成为人们购物的主要渠道之一。如何对各大电商平台超过Pb级规模的商品图象进行快速,准确规范的自动分类管理,提高电子商务效率,成为一项极需解决问题。本文以商品图像分类为背景,选取基于Spark集群的分布式深度学习工具CaffeOnSpark作为平台,对基于分布式深度学习的图像分类算法进行了研究。CaffeOnSpark为保证模型分类准确率,牺牲效率换取精度,采用了同步式随机梯度下降优化算法,而同步式算法会由于参数同步要等待计算最慢的节点,导致木桶效应降低训练效率,同时在与参数服务器同步参数时存在通信冲突问题。异步式随机梯度下降算法能解决木桶效应问题,在其他分布式深度学习平台中广泛使用,但其仍然存在通信冲突,浪费计算时间,而且由于梯度值过时问题,会导致模型收敛速率下降,达不到原有的加速效果,最终得到的模型准确率比同步式算法低。本文首先针对CaffeOnSpark同步式算法的缺点,设计实现了基于异步随机梯度下降算法的CaffeOn Spark结构。通过实现异步式训练,解决了CaffeOnSpark进行分布式深度学习时的木桶效应问题,提高其模型训练效率。其次,针对异步式算法的通信冲突问题,提出一种随机数据分片策略,缓解通信冲突,进一步加快训练速率;并针对梯度值过时问题,采用弱同步策略,平衡训练效率和准确率。通过实验验证基于改进异步算法的CaffeOn Spark比同步式算法能在保证准确率大致相同的情况下,提高分布式训练效率。最后,本文设计PI100商品图像分类模型,使用改进的分布式深度学习算法进行训练,并与CaffeOn Spark平台作对比,在获得相同准确率情况下大幅提升效率。针对训练数据集小,训练得到的模型准确率低和过拟合问题,使用迁移学习的方法在小商品数据集上取得更高的准确率和泛化能力,实现商品图像分类任务。