第五代无线通信网络中,毫米波通信是一种受到广泛关注的极其重要的通信技术,毫米波频段因其丰富的频谱资源,可以适用于大数据流量的应用场景。而索引调制作为一种具有高频谱效率的绿色通信调制技术,也逐渐成为5G无线通信中非常具有前途的技术之一。现有的索引调制方案在微波场景中可以很好的工作,但是在毫米波场景中的使用还存在一些问题。在本论文中,主要根据毫米波通信的特点以及未来通信部署的需求,对适用于毫米波大规模MIMO场景下的索引调制技术进行了研究,主要内容可以概括如下:第一、提出了一种适用于毫米波场景的波束空间调制技术。毫米波频段的信号传输会受到较高的传播路径损耗与吸收,只存在有限的空间选择性与散射效应,并且严重的路径损耗限制了其覆盖距离,因此需要通过在收发两端部署大规模天线来获得阵列增益,并结合波束成型技术产生特定目标方向的高增益波束,将能量集中到目标区域,充分利用空分复用增益,提升系统容量与能效,缓解严重衰落。而如果直接在毫米波系统中应用传统的空间调制方案,就不能利用大规模天线的阵列增益。同时,在微波频段,由于散射与反射丰富,当天线间距超过半波长时,天线间的相关性很低,采用基于天线的空间调制,不同天线上的信道响应能够被有效地识别,但在毫米波频段,空间信道之间是高度相关的。因此,本论文考虑结合波束成型技术,通过对波束的索引来传递数据信息,在不增加硬件复杂度的情况下,实现了频谱效率的有效提高。同时,为了进一步提升系统性能,引入扩频码索引资源,将两种索引方式同时参与信息比特的映射传输中,有效地增加了隐性传输信息的比特数,并联合利用波束域与码域资源进行多址接入,将其拓展至多用户的通信场景中。第二、提出了一种适用于3D MIMO场景的波束空间非正交多址接入方案。目前网络发展呈现出热点更热的趋势,如高层住宅,中心商务区,高校等这样的核心区域承载了大量的流量。用户集聚程度变高带来了更大的业务需求量,而如何在高楼遮挡、深度不足等场景下使得用户终端顺利接入是一个亟待解决的问题。3D波束成型可以提供更高维度的空分复用,在水平与垂直方向上都可以进行灵活的波束调整,因此可以很好地适应未来系统的部署,有效地应对复杂的实际情况。而与非正交多址接入技术相结合,则可提高无线资源利用率,增加用户分集度,更进一步提高系统容量。在该方案稀疏扩频设计中,联合考虑了用户的空间信道,根据用户信道的相关性进行扩频矢量的设计,对稀疏信道模型中,多用户间存在共享径以及波束间干扰的问题进行了针对性的解决,在获得分集增益的同时也将用户间的干扰降低。另外还给出了相应的波束空间优化算法、低复杂度检测算法,在波束空间构造中,通过最小化成对差错概率对波束空间进行了优化,而提出的低复杂度检测算法在保证误码率性能的同时也大大降低了检测复杂度。第三、对自适应激活的波束空间调制方案进行了研究。基于波束空间的调制方案通过对波束的索引来携带信息,可以获得较高的频谱效率,但同时也应关注的是,其系统性能对信道的依赖性较强。在前两章中,对波束的激活是以等概率的方式进行的,而实际通信场景中,不同的链路其信道质量是有差异的,当信道质量较差的链路被选用来进行调制符号的传输时,其性能损失不一定可以被空间调制额外携带的索引信息所补偿。因此,针对这个问题进行了改进,从最大化系统容量的角度分析,得到一个优化的激活概率分布,以一个优化的激活概率对波束进行激活。并基于此提出了基于哈夫曼编码的有效的编码和调制方案。为了降低检测的复杂度,使用MPA进行索引信息与数据信息的联合检测,并给出了具体的因子图构建和检测算法。仿真结果证明了提出的波束空间调制方案的可行性,在提升了系统容量的同时,降低了误码率,解决了由于不同链路信道质量的差异所带来的性能损失。