现代无线通信环境普遍存在着噪声、干扰等问题,使得无线信号在传输过程中不仅经历信道衰落等大尺度衰落,还会经历多径传播、多普勒频移以及频率扩展等引起的小尺度衰落。这些问题不但严重影响传输的可靠性和传输质量,更有可能造成通信中断。为保证信息的可靠传输,许多差错控制技术投入使用,其中最为广泛的是采用具有极强纠错能力的级联码或者Turbo码作为信道编码技术。但是,当面临动态变化的信道时,这类传统的固定码率的编码无法很好地适应信道变化,造成了很大的信令开销。为解决上述问题,学者们纷纷将目光转向无速率码——一种可以自适应信道动态变化从而调节码率的前向递增冗余码。本文从工程角度出发,主要研究基于无速率编码的传输系统的相关设计问题,包括发送策略、与调制方式的结合等。相关研究内容如下：提出了一种适用于基于Q学习的无速率码传输系统的发送端主动自适应调节码率的算法。在理论上,一个基于无速率码的传输系统的发送端只需源源不断地将符号发送出去,而接收端在收到第一个符号就开始启动译码,如果译码成功就继续下一轮新的信息发送；反之,则需要发送端继续发送冗余符号,接收端将新收到的符号加入译码。这个过程一直持续到译码成功为止。而从工程的角度考虑,为了控制开销,发送端首先将编码所生成的编码组成一个数据包,并将这个数据包拆分成若干个子帧,当接收端收到一定数量子帧时开始译码,当这个译码一次性成功的概率超过一定的门限,相对应的译码和传输开销也会相应减小。因此,我们需要一种发送端适用的主动学习算法,当信道动态变化时,发送端通过学习反馈和历史发送情况来判断在当前信道下应该连续发出子帧的数目,以此来保证译码成功率和开销。本算法的基本思想是借鉴机器学习中的Q学习算法,通过定义代价函数、回报函数等对当前信道进行学习,并通过一个简单的策略自适应调节码率。仿真结果证明使用这种算法能够有效提高传输的吞吐量,降低重传率,降低译码延时等引起的延时。提出了一种适用于无速率码传输系统的无速率码与向量正交频分复用(VOFDM)调制方式相结合的联合解码解调的迭代接收机,并提出了一种适用于该接收机的迭代均衡算法。向量正交频分复用是一种建立在正交频分复用(OFDM)基础上的改进调制方式。这种调制方式不仅成为连接传统正交频分复用和单载波频域均衡(SC-FDE)的桥梁,使得在此框架下传统正交频分复用成为向量正交频分复用的向量长度为1的一种特例,还证明针对由多径引起的时变信道,向量正交频分复用能够通过改变向量长度以增大分集增益,从而具有更优的抗衰落性能。因此我们希望将这种抗衰落的性质用于无速率码传输系统。在实现时考虑到向量正交频分复用可以利用无速率译码的每一轮迭代过程中产生的软信息,并将其与收到的信道符号所提供的信息进行一轮新的解调,并将解调后得到的更新过的符号信息再次传递给译码器以完成一轮新的译码过程。这样的过程周而复始直到达到所有的校验条件或者最大迭代次数。通过使用不同的解调方式,对使用这些方法的迭代接收机作误码性能和计算复杂度上的考虑,得出使用软线性消除算法的迭代接收机能够达到最佳综合性能。提出了一种将同样建立在正交频分复用基础上的两种调制方法结合起来的方法,即向量正交频分复用和子载波标号调制(OFDM-IM)方式。子载波标号调制方式是近年来提出的一种基于正交频分复用的调制方式,其基本思想是借鉴了空间调制的思想,并不使用所有的子载波来承载星座点,而是选择其中的一部分用以传输星座点信息,这部分被选中的子载波叫做活跃子载波,相对应地,剩下地未被选中的子载波就叫做非活跃子载波。除了星座点信息,子载波是否被选择具有的不确定性也可以用来传输信息。因此相对于传统的向量正交频分复用,经过合适设计的子载波标号调制方法具有更高的吞吐量。而新的相关研究也进一步证明在较高信噪比下子载波标号调制相对于传统正交频分复用有更高的分集增益。然而在较低信噪比下的性能大大限制了子载波标号调制方式的实用性。为解决这一问题,同时利用向量正交频分复用方式的抗衰落性能和子载波标号调制方式的增大吞吐量的优势,提出了将二者结合的方法,控制计算复杂度的同时使得这种向量子载波标号调制(VIM-OFDM)在较低信噪比下的性能大为提高。仿真结果证明这种方法兼具二者优势,使整个调制系统的误码性能和吞吐量的综合性能有大幅度提升。