毫米波频段丰富的频谱资源及其赋予未来无线移动通信系统的超大容量,以及毫米波赋予雷达感知的超高分辨率和精度等性能,使得毫米波雷达通信一体化技术成为未来移动通信系统,以及未来智慧城市和智能交通系统发展的关键技术之一。对毫米波雷达通信一体化系统而言,大规模天线阵列和混合波束形成技术则是其获得雷达通信一体化性能的基础性技术。毫米波频段的雷达通信一体化系统若采用全数字波束形成方案,所产生的波束增益很难弥补毫米波的传播损耗。毫米波频段的雷达通信一体化系统若采用模拟波束形成技术,虽然可以充分利用大规模天线阵列的增益,但是,模拟波束形成器很难实现多数据流传输,且信号处理受限。为此,发展数字波束形成与模拟波束形成相结合的混合波束形成,成为极具竞争力的技术方案。在毫米波雷达通信一体化系统中,从不同的技术指标出发,如频谱效率,发射波束模式和信号均方误差等,混合波束形成设计方法也会有所不同。本文针对不同的设计准则,将混合波束形成的设计表达成不同的优化目标,且优化目标受约束影响是非凸的。为了解决非凸优化问题,提出了有效的求解算法。在仿真实验中,给出了不同算法关于通信指标和雷达指标的性能分析。具体工作如下:（1）提出一个基于最优逼近准则的雷达通信一体化混合波束形成,并将混合波束形成表述为一个通信和雷达之间的权衡优化问题。具体的,将毫米波信道矩阵经过奇异值分解得到的最优数字波束形成器作为混合波束形成器需要逼近的通信目标;将理想的雷达波束图经过凸优化求解得到最优雷达波束形成作为混合波束形成器需要逼近的雷达目标。针对这个非凸优化问题,首先利用正交匹配追踪算法得到一个简单的混合波束形成的可行解,为了提高性能,利用改进的基于矢量化共轭梯度的黎曼流形优化得到混合波束形成的最优解。（2）为提高一体化系统中通信传输的可靠性和雷达感知的精度,提出一个基于最小均方误差准则的雷达通信一体化混合波束形成,并生成一个通信和雷达之间的非凸权衡优化问题。对通信而已,以最小化发射端预编码前的信号与接收端解码后的信号之间的均方误差（Mean Square Error,MSE）作为设计指标;对雷达而言,以最小化混合波束形成实现的波束图与理想的雷达波束图的功率分布均方误差为优化目标。为了解决多变量非凸优化问题,先引入一个比例因子来松弛约束条件,将初始问题解耦成对应变量的子问题,基于黎曼流形优化求解其中的非凸子问题后,通过交替迭代完成对应不同变量的子问题的所有求解过程,即采用交替最小化算法来得到多变量的有效解。为了获得更低的计算复杂度,采用基于智能搜索的自适应粒子群算法求解非凸子问题然后执行交替迭代算法。仿真结果从频谱效率,均方误差,误码率,波束图等多个维度验证了所提出算法的有效性。在基于最优逼近准则的雷达通信一体化混合波束形成设计中,黎曼流形优化算法获得了比正交匹配追踪算法更优异的性能,并且在通信和雷达的性能上都接近最优基准;在基于最小均方误差准则的雷达通信一体化混合波束成形设计中,一方面,基于改进的黎曼流形优化的交替最小化算法实现了最接近全数字MMSE算法的性能;另一方面,基于自适应粒子群算法的交替最小化算法也以低复杂度实现了通信和雷达的功能。