太赫兹电磁波指的是0.1～10THz(1THTz=1012Hz)的电磁辐射。近年来,由于太赫兹波段电磁波产生与检测技术的进步,极大地推动了太赫兹技术的发展。回旋管作为目前功率最大的太赫兹辐射源器件受到了国际学术界的高度重视。为降低工作磁场通常可以采用高次谐波工作,然而采用高次谐波工作又会带来新的问题：模式竞争。为了突破模式竞争这一技术瓶颈,特殊横截面谐振腔结构被提出。该谐振腔能够有效克服高次谐波太赫兹回旋管中模式竞争,但由于腔体边界的特殊性使得传统回旋管理论难以适用,多数设计参数如：注波耦合系数、起振电流、注-波互作用效率等难以获得,这制约了对此类腔体回旋管的研究与发展。本学位论文针对上述问题对特殊横截面谐振腔回旋管非线性理论进行了研究。具体工作如下：1.本文在传统回旋管的线性理论与非线性理论基础上,提出通过引入电磁仿真高频场数值解替代所需理论场解析解,给出了特殊横截面谐振腔回旋管互作用、耦合系数和起振电流的计算方法,建立相关的自洽和非自洽理论,并编写了计算程序模块。2.利用所编写程序,分别对圆波导谐振腔一次谐波TE03模、二次谐波TE26模和三次谐波TE37模电子回旋脉塞注-波互作用进行了模拟计算,得到了互作用效率以及非线性情况下的起振电流与耦合系数,研究比对使用理论场值情况下的计算结果,论证了本方法的可行性和可靠性。3.对一种特殊横截面谐振腔即波瓣波导谐振腔太赫兹回旋管进行了研究,分析了波瓣波导谐振腔模式分布规律,选取最佳高阶模式以克服模式竞争。利用所编写程序模拟研究了波瓣谐振腔高次谐波太赫兹回旋振荡管,给出了该回旋管的起振电流、耦合系数以及注-波互作用效率等重要参数。讨论了注-波互作用效率与工作电压、磁场以及工作电流的关系。在此基础上设计了一只工作频率为0.4THz,工作模式为TE33模,三次谐波波瓣波导谐振腔回旋振荡管,其电子注参数为1.0A,40.5kV,横纵速度比1.5,互作用区引导磁场为5.09T,输出功率达到3.3kW。