MIMO技术，在不提高发射功率和不增加频谱带宽的前提下，提高了系统的容量和频谱效率。中继技术由于能够延伸通信距离，克服阴影衰落，而被引入到第四代移动通信系统中。把天线选择技术融合到MIMO中继系统中，在达到极高的通信速率和通信质量的同时，有着复杂度低和实现成本低的优点。双向中继是一项比较有应用前景的技术，而物理层网络编码和模拟网络编码作为双向中继中比较重要的两种技术，由于频率利用率高的优势，在学术界受到了广泛的关注。由于无线通信传输的广播特性，使得信号容易被窃听，物理层安全通信成为了近来年研宂的热点。本文重点研宄了在双向MIMO中继系统中，基于物理层网络编码的天线选择方案设计和模拟网络编码的天线选择算法设计，以及在MIMO中继系统中基于安全速率的天线选择算法设计。首先，本文考虑双向中继物理层网络编码系统，系统引入了基于最小邻居成簇算法的物理层网络编码，并在此编码方式基础上，以优化系统误比特率(BER)为目标，通过理论分析，提出了一种基于多址接入阶段(MA)和广播阶段(BC)星座点最小距离的网络编码-天线选择联合设计方案。仿真结果表明，相比于单独的网络编码方案和天线选择方案，该联合设计方案能显著降低系统的误比特率(BER)。其次，相比于物理层网络编码，模拟网络编码有易于进行理论推导及实现的优点，本文又考虑了双向中继模拟网络编码系统，同样以优化系统误比特率(BER)为目标，提出了一种低复杂度的均方误差最小化天线选择算法。该算法考虑双向中继模拟网络编码系统中源节点既是发送端又是接收端的特性，同时考虑了中继节点接收和发送禾线可以不同的情况，根据系统均方误差(MSE)的闭式表达式，推导得出简化表达式，并根据简化表达式逐步选取均方误差最小的接收-发送天线对。仿真结果表明，在不同的天线数量及功率约束条件下，该算法与己有算法相比，在系统均方误差(MSE)和误比特率(BER)方面能够获得更好的性能表现。