复杂网络是复杂性科学研究中受到最广泛关注的方向,在物理学、信息科学、生物学、数学乃至社会学、管理学等领域都做出了重大贡献并产生持续影响。复杂网络在表面上呈现出错综复杂的连接关系,但本质上大多数网络具有社团结构特性；社团结构是反映复杂网络整体结构性质的重要特征,因而在复杂网络中探测社团结构就尤为重要。研究复杂网络中的社团结构,对于更好地理解和解释社团结构所代表的现实结构单元有着重要的现实意义,并有助于更加有效地理解网络结构、分析网络特性,从整体上全面、准确地把握复杂网络特性。在复杂网络社团结构研究中,模块度指标催生了一大类重要的社团结构探测方法,但是这类通过优化模块度探测网络社团结构的方法存在分辨率问题,从而限制了基于模块度方法的有效性。本论文围绕有关社团结构探测的关键问题,研究社团结构定义及度量社团结构的指标模块度、模块密度；并分别对无向无权网络、有向无权网络及有向加权网络给出系统的社团结构探测方法。主要完成了以下工作：1.通过分析社团结构的定义,辨识各定义所基于的标准及定性和定量方式,详细分析基于派系的社团结构定义和基于比较的社团结构定义的异同。并在此基础上,直接从强社团结构定义出发,设计了一种启发式强社团结构探测算法,通过仿真测试说明了启发式强社团结构探测方法的有效性。对已有社团结构度量指标模块度Q和模块密度D进行理论分析,结合簇内密度、簇间密度等概念,给出了一种新的度量社团结构的指标—社团度C。通过对其性质、物理意义及值域范围进行分析及具体实验,比较了分别以模块度、模块密度和社团度分别为度量指标时,所得社团结构划分的差别及三个指标对社团内外部度变化的敏感程度。2.针对无向无权网络社团结构探测,通过设计合适的编码方式、双向传递的交叉方式和非优良等位基因的变异方式等适合社团结构探测的遗传算子,给出了改进遗传算法。以Zachary空手道俱乐部成员等关系网络为例,通过与经典算法比较,说明了该算法的有效性,并具体分析了以模块度、模块密度及社团度指标为优化目标所探测出的社团结构。3.针对有向网络社团结构探测,给出有向复杂网络社团结构定义,通过分析连通性、可达性等性质,给出了有向网络社团结构的量化指标——社团连通度。用经典的16节点有向网的模型分析说明社团连通度指标可作为衡量社团连通性的重要度量。针对有向加权网络,分析网络的连接密度、连接强度和连通程度等与有向加权网络社团结构探测直接相关的指标,重点分析网络的权值,比较了相似权和相异权,点权和边权等指标的异同。研究加权网络的连接密度和连接强度,提出了加权社团度指标。结合衡量有向网络连通性的指标连通度和衡量网络的连接密度、连接强度指标加权社团度,给出了有向加权网络社团结构探测算法。并通过16节点环型网络模型来检测加权社团度指标的变化。4.以资金融通网络为应用背景,分析了资金融通网络的经济复杂性、关系复杂性,探讨了用复杂网络理论研究资金融通网络的可行性。通过定义资金融通网络的账户节点及账户节点关系,构建了资金融通网络模型,分析了该网络的统计性质。应用社团结构的理论知识,将资金融通网络分别视为无权网络和加权网络,探测其社团结构并分析该结构中资金流动关系。为有效监管各种异常社团的活动,防范危机和金融监管提供了有效的方法。