大规模多输入多输出（Multiple Input Multiple Output,MIMO）是未来通信系统中一种极具潜力的技术,得到了各界研究人员的广泛关注。而作为大规模MIMO系统中至关重要的一环,其检测技术是目前一个具有极大研究价值的方向。为了解决传统检测算法在大规模MIMO系统中计算复杂度过高或性能不理想的问题,本文考虑将深度学习技术引入大规模MIMO系统的检测问题中,利用深度学习在挖掘数据潜在特征方面的巨大优势,提高大规模MIMO系统的检测性能。具体研究内容包括以下几个方面:首先,本文研究了基于数据驱动和模型驱动这两类智能检测算法在大规模MIMO系统中的检测性能,具体推导了它们的算法原理,并详细分析了不同信道、天线配置和调制方式对这两类算法的检测性能的影响。实验结果表明,基于数据驱动的检测算法在静态信道情况下相较传统的迫零（Zero Forcing,ZF）和最小均方误差（Minimum Mean Square Error,MMSE）等算法有显著的性能增益,然而在动态信道下的大规模系统中无法正常工作;基于模型驱动的检测算法能较好地适应复杂的动态信道场景,并且相较传统迭代检测算法有更好的检测性能和鲁棒性。然后,为了降低射频链开销,本文还将研究范围拓展到了大规模广义空间调制MIMO（Generalized Spatial Modulation MIMO,GSM-MIMO）系统中,并重点研究了基于模型驱动的检测算法OAMPNet2在该系统中的应用。为了提高该算法在GSM-MIMO系统中的检测性能,本文推导了该系统中每根天线上发射符号的先验概率。此外,还提出了两种避免存储大量激活天线组合,以提高内存效率的算法。仿真结果表明,相较于传统的MMSE和非正交近似消息传递（Orthogonal Approximate Message Passing,OAMP）算法,该算法能极大地提升GSM-MIMO系统的检测性能,并且针对不同规模的GSM-MIMO系统,该算法表现出较强的鲁棒性。最后,本文还对非正交多址（Non-Orthogonal Multiple Access,NOMA）系统的智能检测技术做了初步的探索研究。针对NOMA系统中的连续干扰抵消（Successive Interference Cancellation,SIC）算法的检测排序问题,提出了一种基于深度学习的智能SIC排序方案,最终经过仿真验证,所提方案能够提升检测排序的准确率,从而较大地提高系统的检测性能。