当前农业信息化进程中,农业电子商务发展尤为迅速,越来越多的用户通过农业电子商务网站来购买农产品,农业电子商务网站中农产品、物流、用户数据的积累越来越多。这些数据是分布在不同的主机,不同的终端,如何采集,存储这些数据,为农业电子商务网站发展做数据支撑,成为很多农业电子商务网站待以解决的问题。大数据技术的飞速进步,带来了重构数据平台的新技术,基于hadoop的大数据技术能够很好的满足农业电子商务数据平台现有的需求,本文研究hadoop相关技术在农业电子商务中的落地实现,阐述其基本原理,使用hadoop相关技术采集和存储数据,通过该论文可以使农业电子商务相关行业人员迅速理解hadoop,了解hadoop相关技术的使用,快速搭建基于hadoop集群环境,构建基于hadoop的农业电子商务数据平台。本文的主要研究内容和创新点如下：1.针对农业电子商务的数据平台存在的相关问题进行研究,提出了一种针对海量数据处理业务的分布式数据采集、存储平台。可以解决原有的数据平台大数据采集和存储问题。2.考虑到hadoop平台的搭建步骤较多且具有一定难度,本文详细介绍了hadoop数据平台的搭建过程,为农业电子商务网站实现hadoop平台做参考,也通过部署过程加深对hadoop平台的了解。3、对农业电子商务数据采集技术的特点和难点进行了详细分析,包括分布式、高动态性、采集终端多样性等,针对这些数据采集难点,引入flume、sqoop数据采集工具,保证数据的可靠性采集。4、针对农业电子商务网站日益增长的离线和在线数据存储问题,引入hdfs分布式文件系统、和hbase非关系型数据库,解决对农业电子商务多类型,多业务数据的存储容灾、冗余备份等问题。