混沌普遍存在于自然现象之中,引起了各个领域的广泛关注,从而混沌的理论与应用研究成为了非线性科学最重要的前沿内容之一.在这些研究之中Lorenz系统作为第一个被提出的混沌数理模型,成为了现代混沌理论研究的出发点和基石.它的提出在混沌研究过程中具有里程碑的意义.因而在S.Smale提出的21世纪18个著名的数学问题中,第14个问题就是关于Lorenz系统的研究.在对Lorenz系统的研究过程中,也促使人们去深入研究混沌的机理.由此引发了一个深刻的问题：哪些三维自治连续系统与Lorenz系统是拓扑共轭,而哪些却不是?从而激发了人们对Lorenz系统及其更广类型的三维混沌系统进行研究,Lorenz-like混沌系统族就是其中一类重要的系统.所谓的Lorenz-like混沌系统族是指基于Lorenz系统而提出的一大类混沌系统族,它包括Lorenz系统、Chen系统、Lu系统、统一混沌系统.以及Yang和Chen发现的新型混沌系统.本论文将考虑三维Lorenz-like混沌系统族以及在与Lorenz系统密切相关的著名Rabinovich混沌系统基础上构造的一类受控超混沌系统.本文的主要研究工作如下.第一章为绪论,主要阐述本文的研究背景和意义.简单介绍混沌的发展历史、混沌理论基本知识、分析混沌系统的基本研究方法和相关预备知识,介绍三维Lorenz-like混沌系统的研究简况及其同宿轨、异宿轨存在性研究的近况,也包括具有不变代数曲面的三维Lorenz-like混沌系统的研究现状以及超混沌的研究情况.第二章考虑Lorenz-like混沌系统族.研究内容有系统奇点(包括双曲与退化非双曲奇点)性质、闭轨性质和奇异闭轨(同宿轨和异宿轨)的性质.细致分析系统的局部分岔和稳定性,给出局部稳定流和不稳定流的代数近似表达式.借用中心流形和极坐标变换,精细地分析退化非双曲奇点的局部稳定性,结合数值模拟呈现系统在各临界状态下的复杂动力学行为.也运用三维空间二次曲面的分类和判别的方法讨论了系统闭轨(包括极限环)的性质.研究表明,系统闭轨的定性性质是非常复杂的.同时,本章深入讨论了系统的同宿轨和异宿轨的存在性问题.所得结果改进和推广了已有的相关成果.第三章考虑具有不变代数曲面的三维Lorenz-like系统族及其在曲面上的动力学性质.在简单介绍已有相关成果的基础上,给出三维Lu系统的所有不变代数曲面.进一步,分析其在不变代数曲面上的动力学性质,从而给出在不变代数曲面上拓扑结构,完全解决了这类具有不变代数曲面系统的动力学性质.这些工作对探讨三维Lu混沌系统的混沌机理和吸引子结构具有很大的帮助意义.第四章在三维Rabinovich系统的基础上,通过引入一个线性状态反馈控制器构建一个新的四维Rabinovich超混沌系统,分析其基本动力学行为.在保证系统有界的前提下,通过计算Lyapunov指数值和研究其分岔的途径,证实其超混沌的特性.特别是,巧妙地构造Lyapunov函数,给出四维Rabinovich超混沌系统的指数吸引域和正向不变集等.结合数值实验,分析混沌吸引子和超混沌吸引子的几何结构.研究表明,由于反馈控制器的引入使得在双曲鞍点附近的Lienard-like振子发生震荡,激励成Rabinovich混沌吸引子.通过严格的数学分析和符号计算,运用高维Hopf分岔定理,给出了Hopf分岔的精细代数特征.应用混沌电路理论,设计实现四维Rabinovich超混沌吸引子的实际电路,验证了理论分析的结果.所得结果对超混沌信号源的设计都具有指导意义.