下一代移动通信的基本要求之一是提高频谱效率,为了实现5G容量关键性能指标,需要使用毫米波进行通信,毫米波具有较宽的频率范围（30～300Ghz）,能提供更高的数据传输速率,但是由于频率变高,路径损耗和穿透损耗也随之增大。为了对抗毫米波的高传输损耗,需要密集部署接入点,云无线接入网络（C-RAN）为超密集部署的毫米波接入点提供了一种有效的连接方式,在5G C-RAN中,基站被分为中央单元（CU）、分布式单元（DU）和有源天线单元（AAU）,光与无线融合前传技术是DU和AAU之间传输数据最高效的技术之一。在5G光与无线融合前传系统中为了一进步提高用户的接收速率,可以使用基于阵列天线的波束成形技术,而数字/模拟混合的混合波束成形技术,是可以同时兼顾系统性能和硬件复杂度的一种有效技术。本论文具体工作与贡献如下:（1）为了在5G光与无线融合前传中更好的使用混合波束成形技术,本文设计了一种光学码本,提出了一种应用于5G光与无线融合前传系统的基于光码本的单用户混合波束成形系统,该系统将光码本部署在CU/DU,以实现集中控制和集中计算,使得AAU的结构变得相对简单,在大量部署AAU时可以降低成本,在此基础上,提出了一种基于光码本的单用户混合波束成形算法,并通过数值仿真将该算法与正交匹配追踪算法进行了比较,性能十分接近。本文还将所提单用户系统扩展成了多用户系统,并设计了一种基于光码本的多用户混合波束成形算法,该算法在射频链路数大于用户数时,与经典的两阶段算法相比,可以利用上多余的射频链路以提高用户平均接收频谱效率。（2）针对5G光与无线融合前传系统,将智能反射面引入到提出的基于光码本的单用户/多用户混合波束成形系统中,本文联合优化了AAU处基于光码本的主动波束成形和智能反射面处的被动波束成形,提出了一种智能反射面辅助的基于光码本的单用户混合波束成形算法和两种智能反射面辅助的基于光码本的多用户混合波束成形算法。并对算法进行了数值仿真,研究结果表明智能反射面的引入可以进一步提高用户的接收信噪比和提升系统的覆盖率;所提基于光码本的混合波束成形算法与全数字波束成形算法相比,其性能相近的情况下因所需要的昂贵的射频链路数减少,所以部署成本得以降低。