本文首先从煤岩流变力学的模型研究入手，提出了改进的西原正夫模型，利用李亚普诺夫第一方法，对所提出的改进的西原正夫模型进行了稳定性分析，得出了煤岩蠕变稳定性的判别条件，并对控制变量进行了渐变分析，其结果与岩石完整蠕变特性曲线一致，能较好的描述煤岩三阶段蠕变变形，尤其是非线性加速蠕变变形。其次，建立了条带煤柱动力系统简化模型，采用岩石力学系统运动稳定性理论，分析了该系统的稳定性及其判据，找出了系统的控制变量是系统的广义刚度系数，同时对影响系统控制变量的因素进行了初探，并分析了水对条带煤柱流变特性的影响。最后采用突变理论建立了条带开采老顶和条带煤柱失稳的尖点突变模型，得出了条带开采老顶和条带煤柱失稳的充要条件，对条带开采工程岩体的稳定性及破坏失稳的非线性过程进行了探索研究，从一个新的角度研究了条带开采工程岩体失稳机理与稳定性问题，采用煤柱突变失稳的实例对模型进行了验证。其研究结果对条带开采的理论研究和生产实践具有一定的指导意义。