近年来,无线通信的迅猛发展使得如何提高无线通信传输能力成为一个亟待解决的问题,而引入超高频段电磁波,如太赫兹和可见光,成为解决此问题的有效途径。但不论是太赫兹还是可见光通信,它们在硬件上的要求和传统的射频通信不同:可见光通信中的强度调制要求发送信号是实正数;而太赫兹通信中现有的技术和器件都不能完全满足太赫兹波的需求。因此针对超高频段的特性选择合适的调制方法,以实现高速率和高效率传输,在通信领域成为研究热点之一。本论文旨在探索空域索引调制技术在可见光通信中的应用,并提出多种自适应预编码算法提升性能。同时,对有硬件失真的太赫兹空间调制系统进行了研究,结合机器学习技术优化检测性能。本论文的主要内容如下:第一章主要介绍了超高频通信的特点和发展前景,它们的硬件的特殊性使得研究相应的调制技术具有重要的意义。此外,本章对可见光、太赫兹通信系统的调制技术发展以及现状进行了详细的介绍。第二章介绍了空间调制技术和增强型空间调制技术的原理,并用并集界方法分析其误码率性能。此外,针对可见光通信场景,本章介绍了其信道模型和三种经典的可见光调制技术,包括两种常用的光学正交频分复用（Optical Orthogonal Frequency Division Multiplexing,O-OFDM）技术,牺牲天线索引避免削波的非直流偏置光OFDM（Non-DC-biased OFDM,NDC-OFDM）技术。最后,本章对比仿真了各O-OFDM系统的性能,且将增强型空间调制和O-OFDM结合,仿真结果验证了增强型空间调制相较空间调制在相同传输速率下有更好的误码率性能。第三章对光学空间调制系统的自适应预编码算法进行了研究。本章建立了优化问题,首先考虑两个光发射器的光学空间调制系统,推导了任意调制阶数的脉冲幅度调制的闭式解,并通过缩小差错向量空间减小复杂度。在此基础上,针对有更多光发射器的系统,本章提出了一种低复杂度的迭代（Low Complexity Iterative,LCI）算法和一种连续凸逼近（Successive Convex Approximation,SCA）辅助的优化方法,将非凸的二次规划问题转化为一系列线性凸的子问题。此外,为了进一步利用空域的自由度,本章提出对不同的空间调制符号进行自适应预编码的方案。仿真结果表明,与传统的无预编码的系统相比,这些算法能够显著提高系统的误差性能。引入的逐符号的逐步凸逼近算法,在误码率方面优于逐信道的算法。第四章介绍了考虑硬件失真的太赫兹空间调制系统,且研究了针对该系统的信道估计和检测技术。由于硬件失真在太赫兹通信中不能被忽略,我们介绍了硬件失真的数学模型,研究了适用于太赫兹空间调制系统的均值最小二乘估计和其最优检测。此外,为了克服最大似然检测复杂度高的缺点,本章提出了基于极端学习信道估计和检测器,并且将其与基于其他神经网络的信道估计和检测器对比,通过仿真验证其性能。第五章对全文进行了简要总结,并指出研究的不足和对未来的研究方向。