直线加速器型X射线自由电子激光(FEL)装置的性能极大的依赖于从直线加速器引出的电子束流的品质。然而，由直线加速器中的集体效应和多级束团长度压缩过程引起的微束团不稳定性(MBI)，将极大地放大RF电子枪对束流产生的调制，甚至会放大束流本身初始分布的噪声涨落。这将极大地破坏于波荡器入口时的束流品质，从而抑制束流于波荡器处的辐射增益。一个传统的控制微束团不稳定性的方法是采用激光加热装置提高束流在进入磁压缩器之前的非关联能散。该方法增大的切片能散对于自发辐射(SASE)自由电子激光而言尚可接受。然而，对于自种子自由电子激光而言，增大的切片能散将抑制该类型FEL的高次谐波辐射。
　　自由电子激光装置中的微束团不稳定性，其产生机制类似于束流在FEL波荡器中的群聚过程，但其造成的群聚波长与在波荡器处产生相干辐射所需的群聚周期不符。且微束团不稳定性引起的群聚效应会破坏束流品质，因此需要对该不稳定性中的群聚过程加以控制。本论文中主要讨论在不牺牲束流品质，如切片能散的情况下微束团不稳定性的抑制。在本论文最后，也对束流群聚效应的利用，如基于预群聚电子束产生相干THz辐射进行了研究。
　　对于直线加速器型X射线自由电子激光装置而言，在空间电荷效应、相干同步辐射(CSR)、加速腔结构尾场等集体效应中，纵向空间电荷效应(LSC)对微束团不稳定性贡献最大。只考虑LSC效应，对于含有多级束团长度压缩的FEL装置，在推导MBI增益的理论公式时发现不同级放大项之间由于异号会产生相消现象。基于此原理，在二级束团长度压缩方案中,利用不等时dogleg设计引入三级级联放大项，从而抵消微束团不稳定性的二级级联放大项，最终降低整个系统的MBI增益。模拟结果显示，该方案能够抑制束流在dogleg出口处的密度调制，但对束流的能量调制则无能为力。
　　于是又提出一个通过插入四极磁铁的chicane(BCQ结构)引入横纵向耦合效应的微束团不稳定性抑制方案。方案中，引入的耦合效应可有效消除束流在进入chicane之前累积的能量和密度调制。在束流通过长距离的直线加速段之后，最后利用dogleg消去横纵向耦合项，使得整个传输线构成一个一阶消色散、可逆系统。详细的研究结果显示，该方案可以消除束流在dogleg出口处的能量调制和密度调制。然而，束流的切片能散和切片发射度均有显著增长，两者均未能在dogleg出口处逆转回来。
　　虽然前面两个方案均不能完美解决FEL装置中的微束团不稳定性问题，但是通过这两个方案的研究，大大加深了对微束团不稳定性产生和抑制机制的理解。通过对前一方案的仔细分析和研究，发现如果采用BCQ结构结合束流的能量啁啾，以此改进后的方案便可在有效地抑制MBI的同时，又能够保证束流的其他诸如切片能散和切片发射度等品质参数。在该方案中，结合BCQ结构漏出的横纵向耦合项和束流的能量啁啾，束流初始的能量和密度调制可被弥散掉，更为重要的是，束流的切片能散在chicane的出口处将被显著增大。增大的切片能散将有效地抑制束流在直线加速器中传输时能量调制和密度调制的相互转化过程。最后，在束流进入波荡器之前，利用dogleg消除前面chicane漏出的横纵向耦合项，恢复束流的切片能散。束流在进入波荡器时的切片能散大小约等于束流初始非关联能散乘以束团长度压缩倍数，如此低的能散十分有利于自种子自由电子激光装置向高次谐波拓展。多粒子模拟结果显示，束流传输过程的集体效应，诸如横向空间电荷力、加速腔结构尾场、相干同步辐射效应等，对该方案影响均很小。
　　在本论文的最后一部分内容中，提出一个基于预群聚电子束和介质加载波导(DLW)的THz辐射的产生方案。圆柱形介质加载波导支持一系列分立的本征模式，而各模式的激发可通过运行其间的电子束激励产生，即切伦科夫尾场辐射。通过合理选择波导的结构参数，波导的高阶模式可为低阶模式的整数倍。如果让一电子束团串的重复频率与基模频率相同，并以该电子束作为激励源，通过介质加载波导，便可同时相干地激发多个模式的辐射。通过该方案，可以同时得到一个多色、窄带宽、高功率和高频率的太赫兹辐射源。