煤层钻机作为煤矿井下常用的定向钻进装备,在煤矿抽采工程中具有突出的优势。在实际的钻进工程中,由于煤层地质的松软特性以及钻头的再生切削作用,钻柱系统会出现复杂的轴向-扭转-横向耦合振动。这种振动会导致粘滑振动的出现,从而破坏成孔质量、降低钻进效率,情况严重的时候还会导致钻具破碎和卡钻、塌孔等严重事故。由于钻进过程中钻柱内外存在钻井液,因此需要考虑钻井液对钻柱系统的振动及稳定性影响。本文以煤层钻进中的钻柱系统为研究对象,研究了钻柱系统的轴向-扭转-横向耦合振动及稳定性,同时研究了钻柱系统中固液耦合的振动特性及稳定性,总结得出了控制和减小自激振动的方法,同时基于系统稳定性的分析结果给出了相关参数的合理取值范围,在实际工程应用中具有积极的指导作用。主要工作和结论如下:（1）本文采用沿钻头冠部轮廓曲线非均匀布齿的方法建立了钻头单刀齿的不连续切削模型,通过细化钻头单刀齿的受力情况得到轴向-扭转耦合振动的动力学方程。当钻柱转速较低且钻头所受钻压较高时,往往会产生一种特殊的自激振动,即粘滑振动。通过减小轴向刚度比、轴向阻尼和摩擦阻尼,以及增加轴向-扭转频率比、扭转阻尼和过程阻尼,可以避免粘滑振动现象的产生,从而提高系统的稳定性。（2）当钻柱转速较高且钻压较低时,钻头的横向切削作用,会引发横向振动。因此,在分析钻柱系统稳定性的过程中,应该将横向振动对系统模型的耦合作用考虑在内。本文着重分析了刀齿与岩壁发生碰撞时,钻头的横向受力,并得到四自由度的振动动力学方程。通过减小轴向刚度比、扭转-横向频率比、横向刚度比、轴向阻尼、摩擦阻尼,以及增加扭转-轴向频率比、扭转阻尼和过程阻尼,可以提高钻柱系统稳定性。并且横向阻尼的变化对系统稳定影响可以忽略。（3）考虑了钻进过程中钻井液的流动对系统模型的影响,建立了钻柱系统的固体-液体耦合振动模型。将钻柱系统简化为梁模型,结合钻井液对系统的阻尼作用以及浮力作用得到了系统的动力学方程。并利用哈密顿原理和有限差分法求解了非线性偏微分方程。研究结果表明钻井液对系统的横向振动有一定的影响,增加钻井液的密度和流速对钻柱系统起到稳定的作用。本文对钻柱系统耦合振动的研究以及系统稳定性分析可以为煤层钻进的稳定性预测及钻柱结构的动态优化设计提供参考依据。以抑制自激振动为目标提高煤层深孔成孔率,进而保证煤矿开采的安全、高效。