网约车市场的快速发展,对订单调度的效率提出了越来越高的要求。传统的策略,要么以最小化司机与乘客间的距离为目标,要么以最大化平台收入为目标,在一定程度上优化了订单匹配机制,但从时空的角度看,并不是最优的。本文旨在开发一个多目标分布式强化学习（MODRL）框架,在匹配司机与订单时,既考虑未来累积收入,又考虑供需网络之间的平衡,以提升用户体验,促进平台发展。在基于强化学习的方法中,司机的服务轨迹,被建模成马尔科夫决策过程。状态是司机所处的地理位置、时间和环境特征,动作是接单或者空车游走,策略是司机在某个状态下执行某个动作的概率,奖励是订单的费用。本文对此进行拓展,创新性地提出了多目标半马尔科夫决策过程,允许司机的一个动作跨越多个时间片,设置订单终点的供需差作为第二个奖励。在更加贴合真实场景的同时,融入供需差因素,将多余的司机指派到供不应求处,以平衡供给与需求。收益与供需差在匹配过程中的作用是不一致的,为寻找两者之间的权重,本文采用了相对熵逆强化学习算法。它基于最大熵逆强化学习算法,在满足约束的情况下,使得专家轨迹分布的熵最大,再利用最大似然法求出权重向量的梯度。但是由于订单调度环境的复杂性,无法获取司机的状态转移概率。需要借助重要性抽样的方法,从策略已知的轨迹中抽取一部分,用来计算梯度。往梯度下降的方向更新权重向量,期间固定第一个分量w1=1（对应订单费用）,不断迭代直至分量w2（对应订单终点供需差）收敛。平台在指派订单时,需要考虑到未来累积收益的大小,即状态价值。求状态价值的方法主要分为三种:动态规划、蒙特卡洛和时间差分。其中动态规划需要用到状态转移概率,不适合此处的场景;蒙特卡洛从已有轨迹中采样,效率太低。时间差分结合了蒙特卡洛的采样思想和动态规划的自举思想,既避免求复杂环境中的状态转移概率,又提升了学习效率。本文正是采用了这种方法,计算当前状态价值与后继状态价值之差,作为优化的目标。另外,考虑到状态价值是一个分布,仅考虑其期望是不够的,本文借助隐式分位数网络,通过学习各个分位点间接地获得整个分布。在最终的联合训练模型中,两个目标的分位数网络共享状态嵌入层,同时拥有各自的分位数水平嵌入层和全连接层,总损失函数是分位点损失与时间差分损失之和。从滴滴平台获取了三个城市的司机轨迹数据,经预处理后,求得两个目标间的相对权重。将司机轨迹转化成（状态,奖励,下一状态）的三元组,用于学习状态价值分布。经过测试,联合训练要优于两个模型分开训练,收敛速度更快,损失函数也更小。为了评估多目标分布式强化学习框架的有效性,在调度模拟器上进行试验,将司机与订单的匹配建模成二分图,调整供需因素的权重w2,分别与距离最近策略、收入最大化策略、CVNET进行对比。结果表明,寻找到的最优策略无论是在平台收入上,还是在订单响应率和完成率上,都明显优于三个Baseline,在供需错配越严重的城市,提升效果更加明显。供需差因素在实际的匹配过程中往往被低估了,提高供需差因素的权重,模型能从更宏观的角度优化司机的空间分布,从而促进供需市场达到平衡,释放平台收入增长的潜力。固定最优策略对应的w2*,将边权计算公式中的期望替换成分位点,探究不同分位点之间、分位点与期望之间的组合对于调度效果的影响,结果显示,在部分城市分位点取得了比期望更加优异的表现。不同城市偏好不同风险的策略,充分利用状态价值分布分位点的信息,有助于进一步优化订单指派机制。本文提出的多目标分布式强化学习框架,在提升了平台收入的同时,又使得供需网络变得更加平衡,具有很广阔的应用前景。