随着农业信息技术的发展,如何利用气象数据抵御农业气象灾害已成为农业领域研究的热点。由于气象数据处理计算量大、种类繁多等特征,使得大数据计算技术如Spark成为分析气象灾害对农业影响的主流手段。但Spark内存计算技术在处理诸如农业气象灾害预报时依然存在本身固有调度策略调度性能低和shuffle过程数据倾斜影响性能问题。针对Spark调度策略的局限性,本文提出一种基于模拟退火算法的Im SA调度策略。主要思想是模拟退火算法参数与Spark中调度目标Task结合,充分利用集群和Spark性能对任务队列初始解进行优化;同时将退火过程与变邻域搜索算法结合起来的方法生成初始和退火任务队列,使用模拟调度池和Metropolis准则进行选取,创建一系列模块融合实现改进模拟退火调度算法。其次,针对shuffle过程数据倾斜问题本文采用蓄水池抽样算法给出抽样分区方案,先对Map任务的中间数据进行采样,通过数据倾斜检测模型获得Key分布直方图,然后在Reduce过程中对Key进行二次分区,将采样过程中频率最高key进行负载限定。实验首先在Spark集群上使用Im SA调度策略和FIFO策略对日照百分率进行统计,并将得到统计结果时间进行对比,说明了Im SA策略在执行海量农业气象数据分析时的优越性;其次,采用二次分区策略和Range Partitioner策略对NOAA中庞大数据集进行雨量大小划分,使其处于Key倾斜情况,实验表明二次分区策略能够有效减少shuffle时间。