近些年来,随着城市化进程的不断推进,城市规模不断扩大,越来越多的高层及超高层建筑拔地而起,建筑占地面积快速扩增、平面形态各异,室内空间结构更是错综复杂,人们对室内导航的需求日益强烈。室内路径规划作为室内导航技术的前提和基础,其重要程度不言而喻且日渐成为研究热点。遗传算法运算效率不高,与人工势场法一样容易陷入局部最优,模糊逻辑算法的模糊规则一旦确定很难在线调整,应变性差。与其它室内路径规划方法相比,强化学习凭借自主在线学习和环境交互能力,在本问题中表现出一定优势。本文以强化学习中的Q学习算法为主,结合其它算法和思想对路径规划应用研究中遇到的部分问题进行了相应的解决和优化。（1）针对“探索”与“利用”的平衡问题,以ε-greedy策略为基础提出一种改进的SA-ε-greedy动作选择策略。该策略利用模拟退火算法中的Metropolis接受准则对随机动作探索概率进行在线调整,并采用softmax策略作为随机动作选择规则进行“弱随机化”处理。实验结果表明,SA-ε-greedy动作选择策略相比于传统动作选择策略都能够更好的平衡“探索”和“利用”的关系,降低收敛阶段的振荡幅度。（2）针对值函数的收敛缓慢问题,对与值函数收敛性能密切相关的学习率因子α进行优化。利用深度学习中的Adagrad优化算法思想,将学习率因子α的值与值函数更新的累计误差挂钩实现实时在线调整。实验表明,优化后的学习率因子α能够在较大程度上提升算法的学习效率,从而加快值函数的收敛速度。此外,将优化后的动作选择策略和学习率因子结合到Q学习算法中形成Ada-SA-Q算法,通过实验对比,发现两者的结合能够达到1+1（29）2的效果,即值函数收敛更快速且更稳定。（3）针对多层路径规划中状态数目过多导致的“维数灾”问题,引用深度Q神经网络算法进行解决。为了减少无效探索,更方便快速地实现多层路径规划任务,引入分级搜索和先验知识的概念。同时创新性的结合了实时人流量等因素,将时间层面考虑到最优路径规划中。通过实际场景中不同时间点的多层路径规划仿真实验,验证了所提方法的可行性和有效性。