随着计算机技术的发展，电子商务已经走进人们的生活。传统的电子商务模式比较简单，在进行交易时，只是单方面的同意或者拒绝，没有协商过程，所以只能对简单生活场景进行模拟，而在现实生活中，协商能够增进买卖双方的了解，并且能解决一些分歧和冲突。人工智能技术的发展使得对Agent研究越来越成熟，Agent帮人处理事情的能力越来越强，由Agent技术和电子商务结合起来形成的自动协商能够为上述问题提供一些解决思路。目前主流的研究方向是把机器学习的方法用到自动协商中，本文研究的是增强学习算法在协商中的应用。本文首先对电子商务、自动协商理论进行简单介绍，讲述了常见的机器学习方法在自动协商中的应用，然后对传统的算法进行研究，指出其存在的问题，并提出期望还原率进行改进，最后将改进后的算法应用的双边多议题当中去，通过实验对比验证所提改进算法的效果。具体研究工作如下：①首先对传统增强学习算法的参数（时间贴现率，时间信念等等）进行研究，分析了参数取不同值时对协商的影响，指出了在不同的协商情形中如何选择合适的参数。②通过实验发现传统增强学习算法存在妥协过快的缺点，针对这个缺点，本文提出基于期望还原率的增强学习算法对原算法进行改进，并对期望还原率的取值进行了讨论，当期望还原率为1时，就是传统的增强学习算法。③结合对手分类和增强学习算法进行协商。通过研究对手的协商历史，将对手分为不同的类别，每个类别对应着不同的协商态度，对不同协商态度的对手采用不同的信念函数进行协商。④利用双边多议题协商框架，将基于期望还原率的增强学习协商策略应用到双边多议题当中，通过与基于传统增强学习算法协商策略、基于时间的协商策略进行对比，实验表明在协商次数允许的范围内，改进算法能取得效用更高的协商解。