P2P网络具有开放、动态、异质、节点对等、资源共享自愿等特性，近年来，其优势已经在文件共享、协同计算、分布式存储以及应用层组播等应用领域得到了充分证实。然而，许多事实也表明P2P网络中存在大量自私的理性节点，他们的根本目标是最大化自身利益，而并不考虑网络的整体效用；甚至，一些恶意节点采用欺骗行为提供虚假资源与不良服务，企图破坏网络，从而造成数据污染、自由骑、公共悲剧以及不可靠服务的可用性等问题。这些问题不仅导致P2P网络本身资源利用率、可信度与服务成功率降低，而且会加重底层物理网络的负载与拥塞，严重地阻碍P2P网络的健康发展。本文围绕上述问题展开研究，试图从覆盖网络构造、信任模型与激励机制等方面提出一些理论方法与实用技术，以促进节点有效合作并合理使用网络资源，提高P2P网络的综合性能。首先，提出一种层次型P2P覆盖网络构造方法，以提高逻辑覆盖网络与物理网络的匹配程度，并支持后续的全局信任值分级计算。逻辑覆盖网络与物理网络的不匹配现象会导致严重的路绕问题，造成大量的带宽浪费与系统延时，加重公共悲剧。针对这种现象，本文引入模糊逻辑学中基于密度的减法聚类方法，设计一种基于物理网络中节点间距离邻近度的子网划分算法，确保同一逻辑子网中的节点在物理网络上也是邻近的，每个子网络均基于Chord协议自组织为结构化P2P网络。同时，考虑到P2P网络中节点能力的差异性，设计一种基于DHT的超级节点选举算法，从每个子网络中选举计算能力强且在线时间长的节点作为各子网络的超级节点，所有超级节点又自组织形成一个小网络，这就是上层网络，整个网络被构造成为带有超级节点的层次型覆盖网。分析与实验结果表明这种层次型覆盖网络构造方法既能够解决P2P网络的路绕问题，又能够提高其稳定性。其次，提出一种P2P网络全局信任模型并给出它的分布式实现，帮助节点进行服务选取，尽量回避污染数据与不可靠服务。该模型基于节点间的历史交易信息计算本地(局部)信任值，并通过分布式迭代算法求解节点基于整个网络的全局信任值，能够确保构成迭代算法的概率转移矩阵具有非周期、不可约的马尔柯夫统计特性，从而使得迭代算法收敛。模型在本地信任值计算方法中引入模糊函数处理正负评价，与将正负评价简单加减的常用方法相比，既提高了本地信任值计算的合理性，又兼顾了激励机制。针对P2P网络中全局迭代算法的计算量与通信开销随着网络规模二次方比率增长的问题，本文模型采用分级计算方法求解节点的全局信任值，利用上述提出的层次型覆盖网络，将大规模物理网络从逻辑上划分成若干小网络，迭代算法在各小网络中并行进行，待迭代收敛后逐层合成计算结果，便得到节点的全局信任值，该方法有效地降低了全局信任模型的计算量与通信开销。然后，针对恶意节点提供虚假信任评价及策略性动态摇摆行为两种情形，分别提出了有效的遏制机制，以增强全局信任模型的抗攻击能力。利用评价管理节点监视节点的评价行为，并且计算节点的评价可信度；利用信任管理节点监视节点的动态摇摆行为，并且计算节点的动态摇摆度。模型通过反馈控制机制将评价可信度与动态摇摆度反馈到本地信任值求解阶段，间接地影响节点的全局信任值。节点无论评价可信度低还是摇摆度大都将受到系统的惩罚，它的全局信任值就会降低，反之亦然。仿真实验表明，本文模型较已有相关模型具有更强的抗攻击能力和更高的服务成功率。再次，针对自由骑问题，提出一种基于全局信任值的激励机制。分析了BitTorrent系统中的TfT(Tit-for-Tat)策略，指出该策略在能够建立可重复博弈的理想网络中是实用的。但是，在规模较大且服务形式多样化的P2P网络中，节点间交易的随机性造成建立重复博弈的概率极低，因此，这种直接互惠式激励机制的可行性值得商榷。由于节点全局信任值的高低能够充分反映节点对网络贡献大小与服务质量好坏，据此，本文基于节点间全局信任值的差异设置服务响应规则、查询转发规则以及邻居选择规则，激励节点积极贡献与可靠服务，间接体现TfT策略。仿真实验表明，本文的激励机制能够改变自由骑的行为策略，鼓励他们共享资源，具有较强的普适性。最后，设计并实现了一个集成信任管理与激励机制的P2P文件共享原型系统，验证了本文的研究成果。