随着无线网络的发展,无线数据业务爆发性地增长,为了满足无线通信应用场景的需求,未来的通信网络需要提供更大的带宽和更高的频谱效率。然而随着无线电低频频段已趋于饱和,即便采用多址技术提高频率利用率,也无法满足未来通信发展的需求,因而势必要开发新的频谱资源。相较于低频段,毫米波频段有丰富的带宽资源。利用毫米波波长短的特性,通过布置大型天线阵列还可以提供显著的波束成形增益。毫米波的价值已在无线通信领域得到认可,受到工业界和学术界的普遍关注。鉴于毫米波的特点,传统低频通信中的系统优化与分析方法已不再适用。例如,在毫米波大规模天线系统中,采用全数字波束成形会增加系统的硬件成本和功率消耗;在基于毫米波的异构网络中,由于网络中节点分布的异构性、随机性和密集性,传统的对节点空间分布采用确定性模型的方法无法使用。已有的毫米波研究工作大多针对具体的混合波束成形设计及系统建模分析,但这些工作都没有充分考虑毫米波的应用场景。在新一代移动通信系统中,典型的毫米波应用场景包括5G高低频混合组网、大宽带回传、结合移动边缘计算(Mobile edge computing,MEC)的业务专网场景等。针对特定的应用场景设计算法以及采用新的分析框架分析其系统特性是5G通信产业实现的基础,具有重要的应用价值与研究意义。此外,在毫米波通信系统中,例如基于毫米波的工业物联网和车联网系统,由于大规模天线等空口技术的使用,无线内生安全元素更丰富,需要针对特定的场景设计物理层安全机制。除了传统的信道编码技术,毫米波系统还可以利用大规模阵列天线进行波束成形,从空域上设计安全机制。基于以上背景,论文将针对典型的毫米波通信应用场景,同时结合物理层安全技术,针对不同场景的优化问题,设计低计算复杂度、高性能的优化算法,同时对毫米波混合组网的网络性能进行分析。论文首先针对毫米波业务专网的部署场景,研究了基于毫米波的超低时延MEC系统的相关问题,并设计了在特定通信和计算能力约束下,系统时延最小化的联合波束成形和资源分配算法。针对单用户系统,论文通过发现所构建的问题的特殊结构,将构建的优化问题分解为两个分离的子问题,并设计了基于迭代的加权最小均方误差算法。针对多用户系统,由于所构建问题的目标函数较为复杂,论文引入一系列的辅助变量、不等式约束和等式约束,再将优化问题转化为一个等价但更易于处理的形式后,设计了基于惩罚对偶分解优化框架的联合波束成形和资源分配算法。该算法能够收敛到原问题稳态解,同时具有分布式的特点,能够高效地执行。通过一系列的仿真结果,证明了论文提出算法的优越性,同时证明了将MEC和毫米波集成在一起,具有广阔的应用前景。其次,论文针对无线物理层安全,研究了下一代毫米波系统中基于新型人工加扰策略的收发机设计。具体来说,论文考虑一个毫米波频段的D2D信息监听系统,其中一个可疑的发射机在监听控制器的监督管理下与一个可疑的接收机通信,论文研究监听控制器通过波束成形和人工加扰以有效监听可疑通信链路的问题。论文通过优化可疑通信链路的模拟发射和接收波束成形、监听控制器处的干扰和监听波束成形、以及人工加扰的信号功率,以最大化有效的监听速率。在提出的优化问题中,由于变量的高度耦合,以及目标函数和约束的高度非凸性,论文提出了基于惩罚对偶分解框架的联合设计算法。在算法内层,论文通过将优化变量实部虚部分离的方法构建新的变量矩阵,同时利用柯西-施瓦兹不等式对原问题进行转换和构建目标函数的下界,并设计了一种有效的基于凹凸过程法的算法来解决增广拉格朗日问题。通过一系列的仿真结果,证明了论文提出的算法相较于传统的波束成形和干扰算法能够有效地提升监听系统的性能。最后,论文针对5G高低频混合组网,研究了包含由低频无人机空中基站和毫米波频段地面基站组成的下行垂直异构网络的网络性能。利用无人机移动性,灵活性和三维部署等独特的属性,论文使用无人机作为空中基站灵活地提供无线连接,一种由sub-6GHz频段的空中基站和毫米波频段的地面基站共同组成的下行垂直异构网络模型被提出。在该模型中,地面基站作为低功率的无线接入节点使用毫米波为用户提供高速传输,而空中基站采用sub-6GHz频段和非正交多址技术,以提高覆盖范围和自由度,服务多个用户。论文使用随机几何的分析方法,对空中基站和地面基站分布情况建模,提出了一个灵活的关联策略来解决空中基站和毫米波地面基站的共存问题,以及推导了该垂直异构网络在覆盖概率和频谱效率方面的解析表达式。最后,使用蒙特卡洛仿真对分析进行验证,对该垂直异构网络的性能进行了分析,验证了使用毫米波混合组网的优越性,在理论上为基于毫米波异构网络的设计提供了理论支撑。