随着移动互联网、物联网、云计算等技术的快速发展,移动数据流量需求爆发式增长,移动通信的边界也在被不断扩宽。移动通信业务的急速发展需求,对无线网络物理层的效率和可靠性提出了更高的要求。多输入多输出(Multiple Input Multiple Output,MIMO)技术是显著提高无线网络物理层频谱效率的可行方法。然而,在蜂窝小区网络规划中,采用较小的频率复用因子,会在小区间尤其是小区边缘用户处引入较大的同频干扰,成为限制蜂窝无线系统性能提升的主要因素之一。本文主要基于神经网络,针对MIMO多小区同频干扰环境中的下行关键技术进行研究,同时将方案扩展为复数神经网络,进行探究分析。针对信道估计任务,传统的信道估计算法依赖于先验信息,假设前提较强,在实际信道估计任务中难以达到良好的性能。而在当前的无线MIMO系统中,采用正交频分复用(Orthogonal Frequency Division Multiple,OFDM)调制将通信资源在时频域两个维度上进行了划分,可以借鉴深度学习和图像处理领域的相关技术对信道值进行估计,但是目前的相关方案如ChannelNet,其网络结构没有针对信道估计问题进行优化,计算复杂度和估计误差性能有待进一步提高。因此,本文基于图像超分辨思想,将多个由残差块和密集块组成的网络模块堆叠在一起组成RD-CENet,把导频处经过最小二乘(Least Squares,LS)估计并进行线性插值后的时频域信道信息看为低质量二维图像,使用RD-CENet映射为高质量的信道估计值。仿真结果表明,与ChannelNet相比,RD-CENet在降低计算复杂度的同时,在多径衰落信道环境中的信道估计性能也有提升。同时RD-CENet在信道SIR、多普勒频移与训练集不匹配时仍能有效工作,具有一定的鲁棒性。进一步地,本文将信道估计任务中所使用的神经网络扩展成相应的复数神经网络,与实数神经网络进行了全面的性能对比。在得到信道估计值后,需要利用一定的检测技术对发射信号进行恢复。在检测算法设计中,首先采用超分辨网络,根据仿真结果,部分超分辨网络对于信号检测这类离散值拟合问题并不能达到很好的效果。因此,我们基于传统的干扰抑制合并(Interference Rejection Combining,IRC)算法,对数据组织、网络结构和损失函数进行设计,提出基于IRC的干扰抑制接收网络。在多径衰落信道下,相较于超分辨网络,实现了更稳定的性能,同时所提方案的复杂度低,收敛速度快,可以只利用导频处的数据完成网络的实时训练,跟上信道变化。与传统合并检测算法相比,在具有估计误差的实际信道估计下,基于IRC的干扰抑制接收网络性能更好。在论文的最后,将信号检测任务中基于图像超分辨和IRC算法的两类神经网络都扩展为复数神经网络网络,并进行了仿真性能验证,其中基于IRC的干扰抑制接收网络使用两种方式完成复数神经网络的实现并进行了对比。