大数据技术的快速发展带动了海景数据分析处理技术的不断进步,一些在小样本上表现出色的机器学习算法逐步应用到大数据学习场景中。半参数支持向量机是一种兼备参数型与非参数型优势的计算模型,能够很好地控制分类器的复杂性,且具有较高的训练效率,但是在而对大型数据时,其运算时间也相对较长。论文在大数据环境下研究了半参数支持向量机算法,采用Spark计算框架实现并行化研究,并进行优化改进。论文研究了一种采用稀疏贪婪矩阵近似算法作为预定义模型,利用迭代重加权最小二乘过程计算权電的半参数支持向量机算法。针对其在大数据场景中运行速度慢的问题,提出了两种方法来迭代优化该算法的计算效率:(1)提出在Spark计算框架下实现半参数支持向量机并行化的方法提高算法效率,采用Spark RDD技术共享内存,减少网络传输和磁盘读写,利用Cholesky矩阵分解方法将矩阵计算任务分解成一系列可以并行执行的子任务;(2)在并行化半参数支持向量机的基础上,提出采用kmeans算法与稀疏贪婪矩阵近似算法相结合的方式构建半参数支持向量机的预定义模型,利用kmeans算法的聚类中心求解稀疏贪婪矩阵近似算法中的核矩阵,缩减了矩阵的规模和计算量以提高算法的计算效率。实验证明,Spark框架下并行化的半参数支持向量机算法相对于单机算法在计算效率上有明显的提高,维持原始算法分类性能;优化后的并行半参数支持向量机相对于优化前的算法,分类的准确性和AUC值保持原始优势,算法运行时间得到大幅度缩短,同时聚类中心的数目对算法的性能影响较小;通过与BPPGD、P-PackSVM和SVMwithSGD算法进行比较,证明最终优化后的算法在分类准确率、模型AUC值以及训练时间和分类时间上都有明显的优势。