在巨大的市场需求和新兴产业的推动之下,第五代移动通信系统（The Fifth Generation Mobile Communication System,5G）逐步在全球范围内部署和商用,同时第六代移动通信系统（The Sixth Generation Mobile Communication System,6G）已经成为通信行业研究的重点。通信行业的不断发展和繁荣带来了服务质量的跨越式提升和人们生活水平的显著提高。然而,智能终端的大规模普及、移动数据业务的爆炸式增长对5G及后续网络的演进带来了极大的挑战。一方面,这些业务在时延、可靠性、数据速率和安全性等方面提出了更严格的性能指标,网络面临着严格的服务质量（Quality of Service,QoS）需求得不到满足、多种性能需求之间难以权衡、安全性难以保障等关键挑战。另一方面,一些技术和架构上的重大突破被提出以应对上述挑战,如超大规模天线系统、移动边缘计算等。这些通信新技术不可避免地带来了网络结构复杂、能耗加剧等许多问题。此外,高密度的网络节点也给运营商的资本和运营支出带来了巨大的压力。智能网络自组织增加了通信系统中的智能性和自主适应性,为解决上述关键挑战带来了希望。智能网络自组织旨在通过人工智能技术实现无线网络的自配置、自优化和自修复,减少人为参与,降低运营成本。人工智能技术作为未来通信网络性能提升的核心驱动力之一,可以在增强网络自组织的性能中发挥重要的作用。因此,本文围绕上述挑战开展5G及后续网络中智能自组织关键技术研究,主要内容包括:（1）针对固定传输时间间隔（Transmission Time Interval,TTI）无法满足不同类型业务的QoS需求的问题,考虑了 5G网络中增强型移动宽带（Enhanced Mobile Broadband,eMBB）和超可靠低时延通信（ultra Reliability and Low Latency Communications,uRLLC）共存的场景,并探索了基于机器学习的智能自组织TTI调度策略。设计了基于随机森林的集成TTI决策算法来实现灵活的TTI调度。TTI的长度根据基站的相关特征和不同业务到达时的信道条件来选择。智能自组织TTI调度策略可以在保证eMBB性能的同时有效降低uRLLC业务的时延和丢包率。（2）针对uRLLC业务严格的时延和可靠性需求难以满足的问题,提出了一种智能跨层自组织优化方案。该方案考虑了通信网络中不同层之间的相互作用,实现了三个网络参数的自配置和自优化,并基于优化后的参数完成了资源分配。灵活配置的网络参数包括TTI、数据包复制数量和资源块。灵活的TTI调度可以降低时延,数据包复制传输可以提高可靠性。引入了迁移学习的知识,并提出了迁移强化学习算法来实现该跨层自组织优化方案。该算法具有良好的收敛性能和较低的算法复杂度。（3）针对uRLLC业务时延和可靠性性能之间难以权衡的问题,提出了智能自组织速率传输方案。所提方案根据不同用户的具体的时延和可靠性需求灵活地选择速率参数,实现时延和可靠性性能的权衡,为具有不同QoS需求的用户提供定制化服务。该方案包括三个关键技术:速率自适应传输、灵活的TTI调度、灵活的数据包复制传输。结合元学习的相关知识,提出了元强化学习算法来实现该方案的自组织。（4）针对满足QoS需求的同时安全性难以保障的问题,提出了一种跨层的智能自组织安全解决方案。该方案将物理层安全与上层传输联合分析,完成了跨层参数配置与资源分配,满足了用户对时延、可靠性和安全性的需求。此外,将随机网络演算的应用领域扩展到安全场景,并结合时延和可靠性需求。以有限块长编码为服务过程,对给定的传输速率和给定的译码错误率两种情况进行了全面分析。最后,为了解决复杂的优化问题提出了基于经验池的强化学习算法,该算法具有良好的收敛和稳定性能。