毫米波大规模MIMO及密集异构网络技术是满足5G通信需求的关键使能技术,可极大提高网络容量与传输速率。然而,在毫米波小小区大量密集部署的异构网络中,UE波束选择与小小区间干扰是主要的难题与技术挑战,为此,本文主要完成了以下两方面的研究:1.针对现有波束选择算法信息反馈量大,计算过程繁琐,且很难应用至毫米波小小区密集部署的异构网络等问题,研究一种基于位置指纹的毫米波多小区波束选择方案。所研究方案主要分为离线信息采集与在线UE波束选择两个阶段。在离线阶段,首先为每个毫米波小小区的覆盖区域提取一系列的指纹点,确定每个指纹点的波束信息。然后,将各指纹点对应的波束信息保存至特定的指纹数据块中,并由此构成指纹数据库。在线阶段,UE周期性执行当前位置指纹测量与上报过程,控制器通过位置指纹匹配获取当前UE的最佳波束及最强干扰波束,并对最佳波束和最强干扰波束加以区分以抑制小区间的波束干扰。所研究方案有效地避免了UE大量的信息反馈及测量。仿真表明,所给出的小小区间波束干扰抑制方法,可有效提高UE接收信号的SINR,并改善系统总速率。2.为进一步提高毫米波小小区大量密集部署的异构网下波束选择的时效性,同时避免波束选择带来的大量信息反馈与测量过程,研究一种基于BDS的毫米波大规模MIMO波束选择算法。为迎合波束选择过程,提出并设计了BDS,且毫米波AP所发送各定向波束均用特定的BDS进行标识,UE通过周期性检测BDS便可确定其最佳波束。此外,通过小小区间协作来降低邻小区间的波束干扰。仿真结果表明,所研究算法有效避免了穷举搜索造成的计算复杂度,在简化波束选择过程的同时提高了UE波束选择的时效性。尤其在毫米波异构网络场景下,多小区协作波束选择算法可有效抑制小区间的波束干扰,使系统总速率进一步提高。