复杂系统是系统科学与控制理论在新时代的基础研究中所面临的一个重大挑战，其中一个重要课题是对复杂网络中潜在的定性特征和定量规律的深入探索、科学理解以及可能的应用。而在复杂网络研究中，一项关键步骤是确定网络中的社团结构。社团，对应于复杂系统的单元结构，其研究对于复杂系统的功能和行为的科学理解以及结构和动力学特性的进一步研究具有重要意义。研究发现网络中除了内紧外松的传统社团以外，还存在多种类型的潜在结构，称为广义社团。本文主要基于统计推理方法，对复杂网络的广义社团检测算法展开研究。　　针对现实复杂系统中社团会出现重叠的问题，基于度修正随机分块模型对复杂网络的重叠社团结构检测算法进行研究。通过引入似然度得分参数和阈值参数，并结合谱算法提出了一种网络中重叠社团的检测算法。分别在人工基准网络和现实验证网络上进行实验，结果表明，算法在速度和检测效果上均表现良好。不过，算法也存在检测极限问题，本文认为是网络中存在不同类型的社团结构导致的，应对更广义的社团结构进行研究。　　针对网络中存在多种类型潜在结构的情况，对复杂网络的广义社团结构检测算法进行研究。针对现有网络模型设计过度，现有算法有时收敛时间较长等问题，基于随机图模型构建了一种连续空间的网络模型，并引入广义伯恩斯坦多项式逼近网络模型的概率测度，提出了一种广义社团结构检测的改进算法。在人工网络和现实验证网络上进行了实验，结果表明，算法收敛速度快，能够发现网络中潜在的连续结构，并能扩展到网络的层次结构检测。不过，复杂网络中可能存在的环路有时会对算法性能产生影响，这将留待以后研究。　　针对现实复杂系统中的关系具有不同层次，不宜用无权网络表示的问题，对加权网络上的广义社团检测算法进行研究。在无权网络的广义社团检测算法基础上，修改网络模型概率测度以考虑加权网络的权重强度分布，并在消息传播中引入连边权重以衡量节点间的相容性，提出了一种加权网络上的广义社团结构检测算法。对现实验证网络做权重变换，以无权网络广义社团检测算法和一种考虑权重的传统社团检测算法作为对比，进行了实验。结果表明，加权网络上的广义社团检测算法检测到的结构更加合理。关于该算法的更具体的应用有待进一步研究。　　最后对本文的研究工作进行了总结，并且对未来的研究进行了展望。