移动终端和数据流量的高速增长推动着移动通信技术的持续发展。到2019年,全球移动数据流量将增长到每月24.3艾字节。目前移动通信网络已经无法满足高速增长的业务需求,因此部署5G通信网络势在必行。5G网络通过三个基本技术来实现性能和效率上的大幅提升:毫米波、大规模天线和异构网络。此外,为了保证安全性,可以考虑在5G网络中应用物理层安全技术。本文以通过MIMO技术提升物理层安全和毫米波通信的性能为目标,围绕有限字符输入下的MIMO预编码设计展开以下研究:首先,本文研究了一类新的优化问题,它涵盖了任意输入分布下各种MIMO信道的线性预编码设计问题。这类新的优化问题被称为广义二次矩阵优化。由于广义二次矩阵优化问题的目标函数和约束都是非凸的,它属于非凸优化问题。本文设计了一个数值优化算法求解广义二次矩阵优化问题,该算法能够保证收敛到问题的KKT点。最后,我们将广义二次矩阵优化应用到下行认知安全网络。本文考虑了安全多播场景和安全广播场景下的网络平均安全和速率最大化问题。这两个场景下的最优线性预编码可以通过广义二次矩阵优化求解。仿真结果从各个方面展示了我们提出的算法的有效性。第二,针对认知多址窃听信道模型,本文研究该模型在统计信道信息下的平均安全和速率最大化问题。为了解决该问题,本文提出了一个双层优化算法设计最优预编码。该算法的主要思想是将平均安全和速率写成一个凸差函数,然后用一系列凸集的并集从外部逼近非凸可行域。最后我们通过凹凸逼近算法在每个凸集上最大化平均安全和速率。仿真结果表明我们提出的算法在中高信噪比下的性能超越了基于高斯输入分布的预编码算法。第三,针对毫米波MIMO信道的全连接混合预编码模型,混合预编码设计问题可以被建模成一个矩阵分解问题。本文首先给出了混合预编码能够达到无约束最优预编码性能的一个充分条件和一个必要条件。然后证明了在不影响局部和全局最优性的前提下可以将该矩阵分解问题中的功率约束直接去掉。最后,本文给出了混合预编码设计问题中目标函数的梯度和海森矩阵的闭合表达式,并根据这些信息设计了一个基于BFGS的混合预编码算法。仿真结果表明我们提出的算法性能超过了已有的一些混合预编码算法。最后,考虑毫米波MIMO系统的部分连接混合预编码模型,其中每个射频链路可以动态地与部分天线相连接。本文利用统计信道信息设计天线与射频链路间的连接方案,并根据统计信道信息或混合信道信息设计混合预编码。本文先给出了统计信道信息下天线与射频链路间连接方案的最优准则,并基于该准则提出了一个低复杂度算法求解最优连接方案。然后推导了毫米波MIMO信道下平均互信息的下界。该下界加上一个给定常数后能非常精确的近似平均互信息,且它的复杂度要比平均互信息低若干数量级。为了进一步降低复杂度,我们还给出了平均互信息下界的一个精确近似。最后,本文提出了一个基于流形的梯度上升算法设计混合预编码。仿真结果表明利用混合信道信息下的混合预编码性能接近于基于瞬时信道信息设计的混合预编码性能。