本文主要研究了复杂网络中的非线性动力学行为，特别是复杂网络的两个重要特性：网络演化中的优先连接机制和网络的分层结构，探讨具有这样特性的网络所能体现的自组织临界行为。本文首先研究了基于线性优先连接机制的小世界网络的生物演化模型中的非线性动力学行为，以及网络拓扑结构对动力学行为的影响，发现线性优先连接的运用有益于生物多样性。还发现在以不同的方式引入优先机制构造网络时，网络拓扑结构表现出不同的特性，从而导致了模型不同的自组织临界行为。此外，研究表明在引入指数优先机制的小世界网络上构建的模型中，指数优先的非线性效应在结构和动力学特性上均有体现。所选指数函数的幂参量β的变化对模型雪崩的幂律行为有着非常重要的影响，其变化还会影响节点关于变异次数的分布状况。其次，本文研究了具有分层结构的复杂大脑网络模型的自组织临界行为，发现网络上区域间连接数的变化对不同层次上模型雪崩分布的幂指数、平均雪崩大小有重要影响。最后在分层网络模型的基础上对不同睡眠状态进行了简单的模拟，发现模型从清醒到睡眠状态转换的过程中，其雪崩行为也相应地从SOC行为演变为局域行为。另外，研究中分别应用了随机关闭节点和按连接度关闭节点两种方式来模拟睡眠，结果表明按连接度关闭节点的方式更容易使大脑（模型）进入睡眠状态。