强化学习是目前的一种通过与环境交互试错来学习出最优策略的机器学习领域,相较于给定数据集的监督学习,强化学习其自主与环境交互采样学习出决策能力的特性赋予了其更大的想象空间。强化学习近年来发展迅速,展现了其在解决决策问题方面的巨大潜力。但同时目前的强化学习算法也存在其许多缺陷和问题,其中一个问题在于目前强化学习对于环境复杂度较为敏感,即环境任务难度越高,状态转移机制越复杂,强化学习对于样本的需求量就会越大,算法的训练效率和稳定性都会呈明显下降,甚至一般的强化学习算法都难以直接适配。解决这个问题的一种思路是将强化学习算法针对不同的环境做对应的特异化改造,但是这样做需要对每个环境进行算法改造,而且也破坏了算法自身的泛用性。因此本文提出的思路是从环境解构的角度入手,将环境理解并解构到一种更低的维度,就能够将现有的强化学习算法适配到更多的环境上。因此针对强化学习中复杂环境,本文在多子任务环境与有人复杂环境上提出了两种不同的解析和重构方法,并讨论了环境解构的未来发展方向。具体工作如下:1.对于复杂的多子任务环境,针对现有方法存在需要手动分解子任务导致泛化能力不足的问题,通过引入弱监督语义分割技术,本文提出了一种奖赏引导的强化学习任务自动分解方法。该方法以奖赏作为状态的整体弱标签,通过额外训练判别网络并可视化的方法实现奖赏的定位,并基于定位信息构造出的奖赏函数,实现对环境中子任务的自动化分解,并且对应提出了一种分层强化学习框架,用以完成强化学习策略的训练。该方法在三种不同的多任务环境中进行了实验,显示在高效地自动化分解了任务的同时,也提高了强化学习算法的训练速度和最终性能。2.对于有人复杂环境,因为人的存在使得环境无法简单的用规则建模,为了能够从数据中构造出环境的模拟器,本文结合了目前的生成对抗模仿学习的相关成果,提出了一种将环境进行模块化分解,然后使用多智能体生成对抗算法协同训练出模拟器并构造出虚拟仓库,并进一步应用强化学习全局优化出最优策略的方法。离线和在线A/B测试显示重构出的环境仅用一种简单的强化学习算法便能够训练出在真实环境中有显著性能提升的决策策略。