自1975年Li-Yorke首次用严格的数学语言给出“混沌”的定义以来，人们开始广泛地关注与研究系统的混沌性。随着研究的深入，混沌理论已取得了不少耀人的成绩且在各个领域已有广泛的应用。因而，进一步对混沌理论进行研究有着重要的意义。系统混沌性研究的核心问题是系统轨道的渐进性与拓扑性质。基于对系统轨道渐进性及周期性的研究，本文主要研究了拓扑传递系统的不规则集合与单峰函数族系统的超稳定周期轨，进而讨论了这两类系统的混沌性。 首先，介绍了混沌理论的发展历史及现实状况，指出了研究混沌理论的必要性。同时，介绍了本文选题的出发点及研究内容。 其次，从动力系统的一些基本概念及理论、混沌研究中几种不同的混沌定义、拓扑传递系统的一些理论及结果等方面介绍了本文涉及的背景知识及已有的一些研究成果。 然后，着重研究了拓扑传递系统的LY-不规则集，进而研究了系统的混沌性及其应用。首先讨论了在拓扑空间中传递集的性质；然后，利用所得性质构造性地证明了：在完备度量空间上，具有不动点的拓扑传递的连续自映射存在一个由拓扑传递点构成的稠密的无限可扩的LY-不规则集；进而得知：在完备度量空间上，具有不动点的拓扑传递的连续自映射是LY∞-混沌映射；同时，在更特殊的这样的空间中还构造出了一个无限的由非拓扑传递点构成的LY-不规则集；本章还利用得到的结论讨论了Li-Yorke混沌和Devaney混沌之间的关系，在拓扑传递系统中构造出了另一种混沌集——ω-混沌集，并讨论了Devaney混沌定义中三个条件的关系。 同时还研究了另一种系统——单峰函数族系统的超稳定周期轨及其表现出的混沌现象。首先证明了：对于单位区间上的c1-单峰函数族，必存在单位区间的一个子闭区间，使得该子闭区间上的每个参数值对应的单峰函数都没有超稳定的奇数周期轨，同时得到：在满的c1-单峰函数族中必存在混沌映射。然后，利用这一结果对Logistic映射的超稳定周期性进行分析，得到所讨论的Logistic映射没有超稳定的奇数(不小于3)周期轨的参数区间近似为[0,0.9196]。