随着计算机技术的发展及互联网的广泛应用，各行各业积累了大量的应用数据。如何对这样海量的数据进行高效而精准的学习成为亟待解决的难题，引起了学术界和工业界的广泛关注。面对这样的难题，前人提出了一系列分布式机器学习相关的理论及方法，但是这些方法主要是从单一的系统或者算法角度来提供问题的解决方案，难以在实际应用中达到令人满意的效果。本文结合前人的工作，从系统和算法两方面进行了研究和探索，为分布式机器学习提供了新的参数服务器架构及优化算法，并将其应用到了实际的机器学习算法中，在保证精度的情况下，有效的提高了算法的效率。本文主要工作包括:　　针对分布式机器学习欠缺灵活的分布式平台的问题，本文设计实现了参数服务器架构，并对其通信和容错两方面进行了优化。在通信方面主要进行的优化，包括键值向量存储、有界push和pull操作，消息压缩等。在容错方面，主要采用一致性哈希及副本冗余等措施来进行优化。在实验中，充分验证了本文系统的灵活性和高效性，及相应优化措施的有效性。　　针对分布式优化算法所面临的通信方面的挑战，本文基于参数服务器的分布式环境，提出了有界异步拒绝算法。有界异步拒绝算法，主要包括三个部分:有界拒绝、数据服务器和自适应的学习率调节。在实验中，充分验证了本文提出方法的高效性和鲁棒性，同时也验证了以上优化措施的有效性。　　针对稀疏逻辑回归算法和梯度提升回归树算法的并行化，本文基于参数服务器的分布式环境，提出了其相应的并行化方法。对于稀疏逻辑回归算法，采用了近邻梯度的解法，并对其进行并行化。而对于梯度提升回归树算法，将其回归树构建过程进行了并行化。在实验中，充分验证了这两个算法并行化的高效性和有效性。