论文部分内容阅读
人类日常生活中无时无刻不在做着权衡与决定,这些解决问题的场景可以被抽象成博弈决策问题。博弈根据信息的掌握程度可以划分为完全信息博弈和不完全信息博弈两类。不完全信息博弈问题通常是指参与者无法完全掌握博弈过程中的所有信息而进行博弈的过程。在现实生活中譬如商业谈判、信息安全、广告定价、军事推演、游戏娱乐等诸多问题都能够归纳为不完全信息博弈问题。随着人工智能研究的不断深入以及深度学习应用的不断推广,利用深度学习解决不完全信息博弈决策问题已经成为机器博弈领域的研究热点并且具有十分重要的现实意义。目前,解决不完全信息博弈智能决策问题的传统方法是借助增强学习对于博弈问题建模,通过设计奖励函数以及构建博弈树转化博弈问题,再借助博弈树搜索和价值迭代来最终确定和优化关于博弈策略的状态-动作值函数。传统方法在完全信息博弈或者简单的不完全信息博弈场景表现尚可,但是面对复杂背景下的不完全信息博弈,存在值函数无法收敛、博弈树过大以及模型训练十分耗费资源等问题。针对这些问题,本论文提出利用深度学习来求解复杂背景下的不完全信息博弈决策问题的方法,主要完成的研究工作包括以下几个部分:1.设计了基于知识规则的语义分割方法。对博弈智能决策问题进行建模,将不完全信息博弈的可观测信息以及与博弈决策相关的重要信息提取出来并压缩成一个三维的多通道图像。语义分割方法以博弈规则为基本元素,完整的描述了当前博弈局面下的重要信息,并且基于简单的博弈知识将可能影响决策的关键因素构建成低层次的图像组成部分,克服了传统方法需要构建博弈树的复杂计算,为深度神经网络的训练提供格式友好的数据。2.设计了基于改进的深度残差网络训练不完全信息博弈智能决策模型的方法。考虑到深度学习模型随着神经网络层数不断加深可能出现的梯度消失等问题,本论文在原有的深度残差模型拓扑结构之上,利用多尺度非对称卷积层设计对于图像信息多层次特征提取的优势,再结合多并行分支网络结构增加网络宽度提升网络学习能力的特点,提出Inception+子结构以及多个子结构和残差网络的恒等映射连接而成的新的残差块GoBlock。实验结果表明,基于相同的博弈场景图像数据集,改进的深度残差网络在不完全信息博弈决策的分类预测问题中以77.4%的分类精确度超过其他经典的机器学习和深度学习方法。3.设计了基于深度学习的不完全信息博弈智能决策系统。在一种复杂背景下的多人不完全信息博弈问题(竞技麻将)上,通过真实对战数据训练深度神经网络模型实现了智能决策系统。并且,该系统与其他机器学习算法生成的决策模型进行了博弈对战。与此同时,通过将该系统部署在某款线上竞技麻将应用中与真实的人类选手进行对弈。实验结果表明:本论文提出的智能决策系统在平均得分和平均胜率上相比其他决策系统水平更高。在与一般的人类选手进行5900局对战中,智能决策系统以平均胜率26.471%超过人类选手。通过分析对战回放进一步证明智能决策系统已经具备高水平的博弈决策能力。