近年来,全球移动数据流量增长迅速,增速也逐年提升。在2017至2022年,这一数据预计将扩大至现在的7倍以上。同时在第五代移动通信系统(The Fifth Generation Mobile Communication System,5G)中的大规模机器通信场景(massive Machine Typeof Communication,mMTC),需要满足海量机器设备的信息交互,这种信息传递数据量较小,却十分频繁。因此,当前移动通信所面临的首要问题已经从如何提高下行带宽转变为了如何大幅提高上行连接数。为应对海量并发的终端连接,基于竞争的数据传输可以大量节约信令开销。同时为利用有限的频谱资源支持更多的终端连接,非正交多址接入方案也是当前的研究重点。因此,本论文从基于竞争的非正交编码接入方案着手,从链路级仿真,系统级仿真以及新的混合自动重传请求(Hybrid Automatic Repeat reQuest,HARQ)方案三个方面开展研究。非正交编码接入(Non-orthogonal coded access,NOCA)是针对5G上行链路基于竞争的传输所提出的方案。在该方案中数据符号首先经过非正交码本扩谱,进而映射到多个子载波。通过对非正交码本的设计,实现同一用户的数据之间互相正交,而不同用户之间非正交。这种设计显著提升了码本空间,可容纳更多的用户竞争同一时频资源。而对于非正交用户引起的用户间干扰,可以通过接收机进行干扰消除,同时接收机可以通过码字的区别对不同用户加以区分,从而更加准确的解码。为详细分析NOCA的系统性能,首先从点对点通信的链路级仿真开始,分析NOCA的系统模型与选取的非正交码本,发射机与接收机模型,并对用户负载性能进行仿真。之后分析系统级仿真平台,对多小区多用户场景进行仿真。通过引入功率控制方案来进一步提升系统性能。结果表明,NOCA相比正交频分多址接入技术(Orthogonal Frequency Division Multiple Access,OFDMA)有明显的性能提升。对于5G上行链路中的NOCA,海量并发的连接在同一时间频率资源上竞争,极易发生碰撞,从而需要进行大量数据重传,而长期演进技术(Long Term Evolution,LTE)中的HARQ机制难以应对这种场景。因此本文提出一种新的随机退避(Back-off)HARQ 机制,往返时延(Round-Trip Time,RTT)在该模式下随机退避数个传输时间间隔(Transmission Time Interval,TTI),相同的HARQ进程之间的间隔会随机增加,每个HARQ实体获得更多HARQ进程,并且退避时间相互独立。仿真结果表明,随机退避HARQ机制在系统误帧率以及吞吐量方面具有更优的性能。