等离子体密度是磁约束核聚变的重要参数之一。氘氚聚变反应产生的功率与等离子体密度的平方成正比。从聚变反应输出功率的角度考虑,等离子体密度越高越好。然而目前磁约束聚变装置的实验表明,等离子体密度存在着明显的运行上限(密度极限)。一旦密度超过该极限,一系列不稳定性将会出现并最终导致等离子体的大破裂。为了保证磁约束聚变装置在高密度下安全稳定地运行,有必要去研究高密度下的等离子行为和密度极限破裂发生的物理机制。在高密度等离子体的实验研究中,与微观不稳定性相关的湍流扰动是一个重要参量,它能够反映等离子体的输运行为以及约束性能。为了研究密度极限破裂过程中等离子体输运和约束的变化,本文在J-TEXT现有的三波偏振干涉仪系统上拓展了前向相干散射测量的功能,通过分析前向相干散射信号可以获得等离子体内部的电子密度涨落信息。以J-TEXT托卡马克装置作为实验平台,本文对高密度等离子体行为和密度极限破裂展开了实验研究。首先,本文探索了 J-TEXT的密度运行区间以及最大运行密度与放电参数的依赖关系。实验发现,改善壁处理和降电流调制能够极大地提高密度运行区间。经过以上优化手段,J-TEXT的最大运行密度从0.42nG提升至1nG。大量密度极限破裂实验的统计结果表明,极限破裂时的最大等离子体密度与等离子体总电流成正比,而与纵场强度呈弱相关,结果与Greenwald定标律一致。其次,本文研究了等离子体密度爬升过程中的等离子体参数(包括密度、温度以及电流密度)分布的演化。结果显示,随着等离子体密度的上升,等离子体参量分布的演化可以分为线性阶段和饱和阶段,与等离子体约束随密度的演化类似。在线性阶段,电子密度分布逐渐峰化、电子温度和电流密度分布逐渐平坦;在饱和阶段,电子密度分布的峰化因子缓慢下降,而电子温度分布整体加速下降,预示着等离子体内能的减小以及约束的饱和。最后,本文对密度极限破裂放电过程中的等离子体行为做了系统的实验研究。我们在J-TEXT上的密度极限破裂放电中观察到了 MARFE(边缘的多面非对称辐射)和极向脱栏现象。J-TEXT上的MARFE现象表现为在高场侧边界形成极向局域的高密度、强辐射区域。通过分析远红外三波偏振干涉仪的测量数据,本文首次发现了MARFE引起高场侧边界等离子体电流密度局部下降的现象。进一步结合数值模拟的结果,本文首次提出了“MARFE引起的等离子体电流局部收缩在q = 2共振面产生径向磁场,从而激发2/1撕裂模并导致密度极限破裂”的物理机制。通过研究刮削层(SOL)区域的中性粒子和等离子体参数的极向分布,本文提出了一种新的MARFE形成的物理机制解释,概括如下:环效应引起的径向输运的极向不对称导致环外侧的等离子体压强远大于内侧,从而导致中性粒子在高场侧边界聚集,激发冷凝不稳定性并最终导致MARFE的出现。极向脱栏由MARFE的极向转动演化而来,特征表现为等离子体通道收缩、芯部辐射增强、杂质含量增加、磁流体不稳定性增强等。进一步的分析发现,磁流体不稳定性的增强是2/1模的小磁扰动与1/1内扭曲模发生模耦合导致的。辐射损失的大幅度增强以及模耦合引起的磁流体不稳定性是极向脱栏导致破裂发生的直接原因。基于MARFE和极向脱栏现象的观察,本文从实验上系统地研究了 MARFE和极向脱栏出现的密度阈值与等离子体总电流、边界安全因子、等离子体水平位移等参量的关系,并利用前面提出的物理机制对实验结果做出了合理的解释。