随着智能设备数量的持续增长以及新兴无线服务的迅猛发展,无线网络流量的需求量正呈指数型增长。因此,在5G甚至未来的6G通信网络中寻求新的技术以满足日益提高的通信带宽需求迫在眉睫。为提高无线网络传输速率,现今主流的研究方向有如下三个:大规模多入多出（Multiple Input Multiple Output,MIMO）,超密集网络,以及毫米波通信。然而,由于配备多天线/蜂窝/基站,以及硬件设备（如射频链）所需成本较高且功耗较大,上述三种技术均不可避免地面临现实的部署困难。因此,寻求低成本低能耗的高速无线传输解决方案十分必要。本文旨在针对不同的通信频段研究新型的混合波束成形结构与算法设计,并进行理论上的性能分析和仿真验证。本文的工作和贡献可归纳如下:首先,本文提出一种新型的基于动态子阵列和低分辨率移相器的模拟波束成形结构,并将其应用于毫米波窄带多用户多入单出（Multiuser Multiple Input Single Output,MUMISO）系统中。在此基础之上,本文将其与数字波束成形相结合,构造出新型的混合波束成形结构。以最大化系统的频谱效率为目的,本文提出了两种多变量迭代算法来联合设计混合波束成形,并对其性能进行对比分析。此外,本文还仿真了这一结构所能达到的能量效率以评估其现实可行性。其次,本文研究上述基于动态子阵列和低分辨率移相器的混合波束成形结构在毫米波宽带系统中的应用。在这种情况下,本文首先针对点对点通信场景,收发端采用相同的波束成形结构,对收发端的混合波束成形进行联合设计。此外,本文将其扩展到多用户宽带通信场景中,并对前者所提出算法加以改进。实验仿真再次验证了这一新型结构在毫米波宽带系统中的优势。最后,本文在传统的sub-6G通信系统中引入低能耗的智能超表面（Reconfigurable Intelligent Surface,RIS）技术,将其与全数字波束成形相结合,构成新型的混合波束成形结构,可以通过智能地改变无线信道来有效提高通信质量。具体地,本文首先研究了理想的RIS在宽带多用户通信系统中的应用。其次,本文进一步探索并建模实际的RIS在宽带系统中的响应。在此基础之上,本文重新针对实际RIS在宽带系统中的应用进行波束成形算法设计。本论文的研究成果不仅能够进一步推动无线通信技术的发展,促进无线网络向稠密化、智能化演进,还能为未来通信网络中涉及到的多种技术工作提供理论验证和技术支撑,为未来6G移动通信网络的开发与部署提供重要的参考,具有极高的实用前景。