为了满足人们日益提高的通信需求,无线通信数据流量爆炸式增长,毫米波通信逐渐成为众多学者研究的热点。而毫米波在传输过程中会产生严重的路径损耗,需要收发天线结合波束赋形技术生成分辨率更高的通信波束以提高阵列增益。一方面,分辨率更高的通信波束意味着波束搜索复杂度更高,接入时延更大;另一方面,定向传输链路易受到动态因素的影响,导致已建立的通信链路不稳定甚至发生中断。针对上述提到的问题,本文围绕毫米波大规模MIMO系统中的3D波束赋形和波束跟踪技术展开研究。首先,针对快速波束搜索的复杂度较高及搜索成功率较低的问题,设计了一种3DMIMO场景下基于主瓣重叠的快速波束搜索方案。其将搜索区间划分成了Q（Q为2的整数次幂）个子区间,并使用格雷映射编码（Gray Mapping To Code,GMTC）方案对子区间进行编码。子区间的每一个比特位都对应一个训练波束的覆盖区间,相应生成log2 Q个3D训练波束,然后基于这些训练波束进行快速波束搜索。在3D MIMO场景下,所设计的搜索方案与已有的算法相比,不但明显降低了搜索复杂度,仅为二分搜索算法搜索复杂度的50%,而且搜索成功率达到了 95%。其次,定向波束通信很容易受到环境等因素的动态影响,导致原有的通信链路发生中断。为了提高抗干扰能力并解决波束失准问题,本文首先引入系统抗干扰因子对无迹粒子滤波（Unscented Particle Filter,UPF）算法中的协方差矩阵进行改进;其次,为了解决UPF中由于粒子重采样造成的粒子多样性丧失的问题,引入自适应遗传算法（Adaptive Genetic Algorithm,AGA）,自适应改变交叉变异概率,在保留粒子多样性的前提下,优化了粒子群的性能,提高了算法的估计精度。最后将遗传算法改进的无迹粒子滤波（Adaptive Genetic Algorithm-Unscented Particle Filter,AGA-UPF）算法用于毫米波系统中实现波束跟踪。仿真结果表明,当信噪比为20dB及以上,该算法的有效跟踪时间可达到100个时隙;较UPF算法,AGA-UPF算法的跟踪误差降低了约8%,较粒子滤波（Particle Filter,PF）算法和无迹粒子滤波（Unscented Kalman Filter,UKF）算法,跟踪误差降低了约15%和20%。在变化较快的毫米波通信系统中,AGA-UPF算法具有较高的跟踪精度和较低的角度误差。