随着数据流量需求的急剧增长，现有移动通信系统需要通过增加基站密度以扩大系统容量和改善覆盖，因而移动通信运营商和设备商开始LTE网络中大规模部署Small Cell以满足移动终端用户的需求，但Small Cell在LTE网络中大规模部署，导致基站间的密度大且距离很近，网络系统在部署网络时为了充分利用频谱资源，采用同频组网的方式，这就使得小区间的干扰情况更加复杂。因此对Small Cell进行小区间干扰消除研究，对提高Small Cell的性能具有重要的意义。　　传统的小区间干扰消除技术把来自干扰小区的信号当作噪声来处理，对于Small Cell在LTE网络中大规模部署组网来说，干扰消除效果有限。而基站间的协作通过联合检测或者联合预编码发送信号，将干扰信号转化为对用户有用的信号达到协作干扰消除的目的，可以提高Small Cell的性能。因此本文针对协作干扰消除技术的分簇协作模型，下行链路联合预编码，以及下行信道反馈等三个技术要点对LTE Small Cell进行研究。　　在分簇协作模型方面，本文在对全局协作、静态分簇协作、动态分簇协作等现有文献提出的模型性能进行分析，在此基础上，提出了基于协同度动态分簇协作模型和基于改进粒子群算法动态分簇协作模型，并对这两种模型进行仿真以及复杂度分析，仿真结果表明这两种模型算法能够有效地提高系统的总频谱效率。　　在下行链路联合预编码方面，本文在分析迫零预编码、最小均方误差预编码以及块对角化预编码这三种传统线性预编码的性能的基础上，利用奇异值分解以及几何均值分解对块对角化预编码进行改进，仿真结果表明这两种改进预编码算法能够有效地降低系统的误码率。　　在下行信道反馈方面，本文在分析了LS信道估计性能的基础上，从信道估计方向入手，提出一种基于压缩感知的信道反馈策略，以信道估计为基础，考虑多径信道的稀疏性，在Small Cell端利用压缩感知重构信道状态信息，从而有效地降低信道反馈开销。仿真结果表明，这种基于压缩感知的信道反馈策略，比LS信道估计后再理想反馈的性能要好，而且能够有效地降低信道反馈开销。　　未来进一步工作可对Small Cell协作干扰消除算法进行改进和优化。